30GB（2,500万行）という膨大なファイルを読み込もうとしています。私はスレッドプールを作成し、各スレッドは1000行を並列に読み込みます（最初のスレッドは最初の1000行を読み込み、2番目のスレッドは次の1000を読み込むなど）。 ファイル全体を読み込んでスレッドプールを作成しましたが、今は各スレッドが1000行だけを読み込み、次のスレッドが読み込む必要がないように読み込まれた行番号を確実に追跡できるようにしていますそれらの行。すべてのスレッドがラインのほぼ等しい数を持っているacceaptableならマルチスレッドを使用して30GBファイルを読む
A.、次のことができます。
B.は、それはあなたには、1000行を言うことができます：
アプローチAはファイルを1回読み取ります。アプローチBはファイルを2回読み込みます。
アプローチAまたはBを使用すると、すべてのスレッドでファイルを処理（変換、抽出、クリーニング）することができます。しかし、処理が非常に速い場合、境界はディスク速度です。次に、アプリケーションはIOバウンドになります。あなたはただ1つのスレッドにファイルを読み込ませ、処理を逐次行わなければなりません。
アプローチBは、私が追求したロジックですが、すでにスレッド間で読み込まれている行番号を共有するという問題がありました。ファイルを読み取る単一のスレッドは、ファイルの内容をキューに入れて、特定の行のキューを同時に読み取るのが面倒になります。すでに読み取られた行を示すスレッドセーフカウンタを維持します。 –
「最初のスレッドは最初に読み込みます1000行 "私は、行のグループを一緒に処理する必要があると思った。そのような制約がない場合は、最初の小さなN（1、2、okです）行を読み、1番目のスレッドに与え、2番目の小さなNの行を2番目のスレッドに渡します。 – waltersu
@ChristineDsouzaあなたはすでにアプローチしています。あなたのコードと、スレッドセーフな問題についてのあなたの質問を表示してください。 – waltersu
この問題を解決したら、磁気ドライブを使用していますか？それにかかわらず、これはIOバウンドになります。 –
1つのスレッドで大きなチャンク（30GB）を読み取ると、通常は25000スレッドが小さなチャンクを読み取るよりも高速になります。 25000スレッドには多くのオーバーヘッドがあり、1つのディスクに1つのファイルがある場合、各スレッドはキュー内のアクセス時間を待たなければなりません。 –
通常は、ファイルなどの外部リソースを操作するスレッドは1つしかありません。パフォーマンスを向上させないI/Oを配布しようとするのではなく、リーダースレッドが各バンドルを並行キューに入れて、それをexecutorタスクに送信するようにします。 – chrylis