C# と VB.NET の質問掲示板

■No62528 (いま さん) に返信
> textファイルから文字コードを取得したいのですが方法がわかりません。
「文字コードを指定して、ファイルの内容を文字列として読み込む」ことや
「文字コードを指定して、文字列をテキストファイルとして書き込む」ことなら可能です。

しかし、ファイル(バイナリデータ)が表す文字コードを完全に判定することは無理でしょうね。
「Shift_JISデータの可能性がある」だとか、「Shift_JISである可能性が高い」とか、
「Shift_JIS または EUC-JP のどちらか」のように、推測を行うぐらいならできるかも知れませんが。


> シフトJISコードを取得したいのですが，方法はあるでしょうか？
シフトJIS の範囲外のバイナリが含まれていたら、シフトJIS ではない、と判断できます。
しかし逆に、そのファイルがシフトJISであると断定することはできません。

複数の文字コードにも解釈可能なパターンが多数ありえるからです。


"+MEIwRDBG-" という文字列は、Shift_JIS では 2B,4D,45,49,77,52,44,42,47,2D です。
  "あいう"   という文字列は、  UTF-7   では 2B,4D,45,49,77,52,44,42,47,2D です。

    "ABC"    という文字列は、Shift_JIS では 41,42,43 です。
    "ABC"    という文字列は、  UTF-8   では 41,42,43 または EF,BB,BF,41,42,43 です。

   "珎瑕"    という文字列は、Shift_JIS では E0,DD,E0,EA です。
   "珈琲"    という文字列は、  EUC-JP  では E0,DD,E0,EA です。

   "珈琲"    という文字列は、Shift_JIS では E0,DB,E0,E8 です。
   "獻琥"    という文字列は、  EUC-JP  では E0,DB,E0,E8 です。

■No62534 (774RR さん) に返信
> # UTF-8 などの場合「後続のバイト」が１バイトとは限らないので注意が必要。
> # cp932 (SJIS) は１バイトか２バイトかのどちらかなので簡単。
> SJIS はバイト列の途中から１バイト目か２バイト目かを判断できない（こともないが困難）ので
> 先頭からチェックしていかなければならない。その辺注意が必要。

具体例を挙げてみると…たとえば cp932 の場合
　「＝」　…　81,81
　「≠」　…　81,82
　「ａ」　…　82,81
　「ｂ」　…　82,82
のように、先導バイトにも後続バイトにもなりうるバイナリ値が存在するため、
常に文字列の先頭から調べていく必要があるということになります。

一方、UTF-8 の場合は、
　1バイト文字：0xxxxxxx
　2バイト文字：110xxxxx 10yyyyyy
　3バイト文字：1110xxxx 10yyyyyy 10zzzzzz
　4バイト文字：11110www 10xxxxxx 10yyyyyy 10zzzzzz
というビットパターンになるため、データの途中からでも文字列の区切りを見つけることができます。
1バイトなら[00-7F]、2バイト文字は[C2-DF],[80-BF]、3バイト文字は[E0-EF],[80-BF],[80-BF]であり、
後続のデータを何バイト読み込めば良いのかは、先頭バイトで判断することができます。