C# と VB.NET の質問掲示板

開発環境
Visual Studio 2005 SP1 C#
Windows XP


現在、C#を使いサーバのログを解析するプログラムを作っています。

その中で、ログファイルを読み込む処理を行っているのですが、
1つのログファイルで1GB近くになる物もあり、読み込みに時間がかかっています。
現在よりも効率的にファイルの読み込みができれればと思うのですが、
何かアドバイスありましたらお願いいたします。

現在は以下のようになっています。

///ファイルを開いて解析
using (StreamReader sr = new StreamReader(fileName, Encoding.GetEncoding("Shift_JIS")))
{
    while ((line = sr.ReadLine()) != null)
    {
        //ログ解析実行
    }
}

読み込むログは一般的なapacheのログやpostfixのログです。

■No19771 (カレー さん) に返信
 
> ///ファイルを開いて解析
> using (StreamReader sr = new StreamReader(fileName, Encoding.GetEncoding("Shift_JIS")))
> {
>     while ((line = sr.ReadLine()) != null)
>     {
>         //ログ解析実行
>     }
> }


このコードだと、
ファイルの「読み込み」に時間がかかっているのか、
ログの「解析」に時間がかかっているのか、
判別できないと思います。


読み込みながら解析しているので、
「ファイルの読み込み」とは、言えないと思います。

■No19790 (なちゃ さん) に返信
> FileStreamからStreamReaderを作れば後は同じ感じでいいはずですよ。
> ※StreamReaderのコンストラクタにFileStreamを渡す
> 

以下のように実装してみました。
動作していますが、コーディングミス等あればご指摘ください。
正しいようであれば、バッファサイズを調節し、ベンチマークを取ってみたいと思います。

using (FileStream fs = new FileStream(FileName, FileMode.Open, FileAccess.Read, FileShare.Read, 1024, FileOptions.SequentialScan))
{
  using (StreamReader sr = new StreamReader(fs, Encoding.GetEncoding("Shift_JIS")))
  {
    while ((line = sr.ReadLine()) != null)
    {
      //ログ解析実行
    }
  }
}