C# と VB.NET の質問掲示板

■No61404 (sosio さん) に返信
> あるテキストファイルのエンコードがUTF-8であるかを知りたいのですが、
> お願い致します。

.NET であれば、手っ取り早いのは Encoding クラスを使う事でしょう。

GetEncoding の引数に DecoderExceptionFallback を指定しておけば、
「UTF-8 では定義されていないバイト列」をデコードする際、
バイナリ中のどの部分が変換エラーとなったのかを、例外として検知できます。
(例外にならないようであれば、それは正しい UTF-8 ということです)

-------

上記の他、バイナリデータを一つずつ見ていくという手法もあります。
それが「テキストファイル」であることが確定しているのであれば、
先頭 3 バイトが EF BB BF (16進数)であれば、多くの場合、そのファイルを
UTF-8 と見做すことができます。手抜きな検出方法ですが、データ全体を
走査する必要が無いため、DecoderExceptionFallback を使うよりも高速です。


一方、BOM 無しの場合は EF BB BF はありません。
この場合、UTF-8 ではそれぞれの文字が 2進数表現 で
　1 バイト文字……0xxxxxxx
　2 バイト文字……110xxxxx 10yyyyyy
　3 バイト文字……1110xxxx 10yyyyyy 10zzzzzz
　4 バイト文字……11110www 10xxxxxx 10yyyyyy 10zzzzzz
という並びになるように定義されていますので、これを基に判定することもできます。
なお、16進数で表現した場合はこんな感じ。

 コードポイント     　 第1バイト　第2バイト　第3バイト　第4バイト
------------------- 　 ---------　---------　---------　---------
 U+0000  〜U+007F   →  00 〜 7F　
 U+0080  〜U+07FF   →  C2 〜 DF　 80 〜 BF
 U+0800  〜U+0FFF   →  E0      　 A0 〜 BF　 80 〜 BF
 U+1000  〜U+CFFF   →  E1 〜 EC　 80 〜 BF　 80 〜 BF
 U+D000  〜U+D7FF   →  ED      　 80 〜 9F　 80 〜 BF
 U+E000  〜U+FFFF   →  EE 〜 EF　 80 〜 BF　 80 〜 BF
 U+10000 〜U+3FFFF  →  F0      　 90 〜 BF　 80 〜 BF　 80 〜 BF
 U+40000 〜U+FFFFF  →  F1 〜 F3　 80 〜 BF　 80 〜 BF　 80 〜 BF
 U+100000〜U+10FFFF →  F4      　 80 〜 8F　 80 〜 BF　 80 〜 BF