最適な実行タスク数はどれくらいですか？

Question

は、私は私のファイルのサイズが628MBを持っている場合はAzureのブロブストレージに

private const long MaxChunkSize = 1024 * 1024 * 4; // 4MB 

private void UploadPagedDataToBlob(...) 
{ 
    ... 
    List<Task> list_of_tasks = new List<Task>(); 
    do 
    { 
     var stream = new MemoryStream(data, index, (int)blockSize); 
     var task = _blob.WritePagesAsync(stream, startPosition, null); 

     list_of_tasks.Add(task); 
     ... 
    } 
    while (remainingDataLength > 0); 
    Task.WaitAll(list_of_tasks.ToArray()); 
} 

をデータを書き込み、次のアルゴリズムを持っている=>その後、list_of_tasksが157タスクを持っている（628/MaxChunkSize）。通常、1 TB以上のファイルがあります。私は、より多くの効率的なアルゴリズムを作成する方法は、多くの実行タスクを持ってしたくないですか？最適な実行タスク数は何ですか？たとえば、200以上の推奨事項はありませんか？

Answer 1

ファイルを同じディスクに順番に書き込む場合は、あなたが実際に並列でタスクを実行できるかどう

1.

並列にのみ有効です。あなたの共有ボトルネックはディスクアクセスであり、複数の書き込みを同時に発行するとそれ以上の効果は得られません - むしろ、それはずっと遅くなる可能性があり、同じシステム上で実行されている他のものと優先順位をつけて戦う傾向があります。

ハードドライブは、順次書き込み用に最適化されています。スループットに問題がある場合は、チャンクを大きくしてください。ただし、並行して書き込みを行うと、助けているよりもあなたを傷つける可能性が最も高いです。

リモートリソースを扱う場合は、レイテンシを考慮する必要があります。レイテンシが1つのチャンクを送信するのにかかる時間よりもはるかに長い場合は、「無駄な」時間を減らすために並列処理を行う価値があるかもしれませんが、すべてが適切に同期されていることを確認する必要があります。