正規表現を使ってファイルを読み込みますか？

Question

これは接線と関連していますan earlier question of mine.

本質的に、この問題の解決策は素晴らしいものでしたが、今はもっと大きな分析アプリケーションで動作するように調整する必要があります。ちょうどStreamReader.ReadToEnd()を使用するだけでは、私が読んでいるファイルのいくつかは非常に非常に大きいので、受け入れられません。間違いがあり、誰かがクリーンアップするのを忘れた場合、理論的にはギガバイト大きくなる可能性があります。明らかに、私はそれを最後まで読むことはできません。

残念ながら、私が読んでいるデータの行の中にはスタックトレースが含まれているので、通常の読み取り行も受け入れられません。彼らは明らかに書式設定で/r/nを使用しています。理想的には、私はそれが正規表現のために一致するまで前方に読むようにプログラムに指示したいと思います。これを行うための機能はありますか？そうでない場合、私はそれを書く方法についていくつかの提案を得ることができますか？

編集：それは少し簡単に私の質問に従わせるためには、ここでの適応コードの重要な部分のいくつかのペーストです：

foreach (var fileString in logpath.Select(log => new StreamReader(log)).Select(fileStream => fileStream.ReadToEnd())) 
{ 
    const string junkPattern = @"\[(?<junk>[0-9]*)\] \((?<userid>.{0,32})\)"; 
    const string severityPattern = @"INFO|ERROR|FATAL"; 
    const string datePattern = "^(?=[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2},[0-9]{3})"; 
    var records = Regex.Split(fileString, datePattern, RegexOptions.Multiline); 
    foreach (var record in records.Where(x => string.IsNullOrEmpty(x) == false)) 
    ...... 

問題はforeachのです。 .Select(fileStream => fileStream.ReadToEnd())はひどくメモリを爆破するつもりです、私はそれを知っています。

Answer 1

まず、const定義をクラス宣言に移動する必要があります。コンパイラはそれを行いますが、コードの読みやすさを向上させるために、自分で行う必要があります。

@Blamが述べたように、あなたは、ペアでこのような何かStringBuilderとStreamReader.ReadLineを使用する必要があります。私はあなたの問題について何かを理解していなかった場合は、コメントでこれを明確にしてください

foreach(var filePath in logpath) 
{ 
    var sbRecord = new StringBuilder(); 
    using(var reader = new StreamReader(filePath)) 
    { 
     do 
     { 
      var line = reader.ReadLine(); 
      // check start of the new record lines 
      if (Regex.Match(line, datePattern) && sbRecord.Length > 0) 
      { 
       // your method for log record 
       HandleRecord(sbRecord.ToString()); 
       sbRecord.Clear(); 
       sbRecord.AppendLine(line); 
      } 
      // if no lines were added or datePattern didn't hit 
      // append info about current record 
      else 
      { 
       sbRecord.AppendLine(line); 
      } 
     } while (!reader.EndOfStream) 
    } 
} 

を。
また、ThreadPoolを使用して、アプリケーションの速度のために、行のタスクをスケジュールすることができます。