Parallel.ForEachを使ってファイルに正しく書き込む方法は？

Question

私は大きなファイルを1行ずつ読み込み、いくつかのロジックを行い、ファイルに書き込む必要のある文字列を返すタスクを持っています。出力の順序は関係ありません。しかし、以下のコードを試してみると、私のファイルの15〜20k行を読み終えた後は、実際には停止/停止が遅くなります。

public static Object FileLock = new Object(); 
... 
Parallel.ForEach(System.IO.File.ReadLines(inputFile), (line, _, lineNumber) => 
{ 
    var output = MyComplexMethodReturnsAString(line); 
    lock (FileLock) 
    { 
     using (var file = System.IO.File.AppendText(outputFile)) 
     { 
      file.WriteLine(output); 
     } 
    } 
}); 

時間が経過してプログラムが遅くなるのはなぜですか？このタスクを実行するより正しい方法はありますか？

Answer 1

基本的には、すべてのスレッドがファイルに書き込もうとするとクエリがシリアル化されました。代わりに、何が書かれる必要があるのか​​を計算し、最後に書いておきます。

var processedLines = File.ReadLines(inputFile).AsParallel() 
    .Select(l => MyComplexMethodReturnsAString(l)); 
File.AppendAllLines(outputFile, processedLines); 

あなたはそれが来るよう、データをフラッシュストリームを開いて、（手動またはフラッシュ）自動フラッシュ有効にする必要がある場合：これはどのようにParallel.ForEachの内部ロードバランサに関係しています

var processedLines = File.ReadLines(inputFile).AsParallel() 
    .Select(l => MyComplexMethodReturnsAString(l)); 
using (var output = File.AppendText(outputFile)) 
{ 
    output.AutoFlush = true; 
    foreach (var processedLine in processedLines) 
     output.WriteLine(processedLine); 
} 

Answer 2

を働くスレッドが多くの時間を費やしていることが分かったら、問題にもっとスレッドを投げて並列処理のオーバーヘッドを増やし、FileLockの競合や全体的なパフォーマンスの低下を招くことがあります。

どうしてですか？ Parallel.ForEachはIO作業のためのものではないためです。

これをどのように修正できますか？ CPUの作業にのみParallel.ForEachを使用し、並列ループ外のすべてのIOを実行してください。

Parallel.ForEach(
    System.IO.File.ReadLines(inputFile), 
    new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount }, 
    (line, _, lineNumber) => 
    { 
     ... 
    }