磁気ハードドライブに格納されているマルチスレッド読み取りフォームファイル

Question

大きなファイル（4GB以上）の処理性能を向上させる必要があります。このファイルを処理するために48個のハードウェアスレッドを実行できます。しかし、稼働中のサーバー上には、磁気ハードドライブもあります。 このファイルをRAMに読み込むことはできません。 そして、私の質問は、このマルチスレッドのファイルからの読み込みが可能かどうかです。スレッドはファイルから読み込み専用の行を終了するために別のスレッドで待機しなければならないため、ハードウェアレベルではこれが順次処理になりますが、コードレベルでは処理がマルチスレッドになります。

Answer 1

ファイルをRAMにロードできないと言うと、一度にファイル全体を意味しますか？あなたがまだそれをメモリに読み込んでいるディスクからそれを読み取るには、それを長い間メモリに保存していないかもしれません。

ファイルを読み込む最速の方法は、ファイルのシーケンシャルな読み取りのままで、複数のスレッドがディスクの頭を動かさないようにします。データの読み込みからデータの処理を切り離すことができれば、読み込みのチャンクを処理している他のスレッドに順番に渡しながら、データを読み取る単一のスレッドを持つことができます。

質問には言語が付けられていないため、より正確なテクニックを使用することは誰にも困難です。例えば、私は1人の作業者にファイルを順番に読み込み、読み込んだ行をチャンネルに配置し、チャンネルを処理するのに必要な数のワーカールーチンを作成します。