CUDAでのpthreadの使用 - 設計に関する質問

Question

いくつかのディスクI/Oが必要なコードを書いており、計算やGPUの作業を行うライブラリを呼び出すと、結果を書き込むためのディスクI/Oが増えますファイルに。

ファイルが非常に大きいので、私はマルチスレッドコードとしてこれを作成したいと思います。私は、ファイルの一部を読み込み、GPUライブラリに送信して、一部をファイルに書き戻したいと考えています。関係するディスクI/Oは非常に大きく（10GBなど）、GPUでの計算はかなり速いです。

私の質問は設計上の問題です。別のスレッドを使用してGPUライブラリに送られるデータをプリロードし、メインスレッドがGPUライブラリへの呼び出しを実際に実行し、結果データを他のスレッドに送信してディスクに書き戻すか、 GPUで実行し、ディスクに書き込んだ後、次のデータを取得しますか？

私は自分のGPUライブラリにCUDAを使用しています。クーダは、すぐにGPUで2つのカーネルを実行しようとしないほどスマートですか？私は、2つのスレッドがスペースを持つより多くのデータをGPUに追加しようとしないように手動で管理する必要があると思いますか？

マルチスレッドとCUDAを組み合わせて使用​​する上で、良いリソースがあれば幸いです。

Answer 1

私の研究では、大きなファイルでこのような状況に遭遇しました。

私が知る限り、 はGPUのI/Oに比べて非常に遅いため、ディスクI/Oの処理に大きなメリットはありません。

私が使用した戦略は、ディスクから同期して読み込み、データをロードしてGPUで非同期に実行することでした。

のような何か：

read from disk 
loop: 
async_load_to_gpu 
async_execute 
push_event 
read from disk 
check event complete or read more data from disk 

Answer 2

スレッドは、ディスクI/Oを助けにはなりません。一般的に、人々はスレッドをたくさん作成することでブロッキングの問題を解決する傾向があります。実際、それは物事を悪化させるだけです。あなたがしなければならないのは、asynchronous I/Oを使用し、書き込み（および読み取り）をブロックしないことです。 libeventまたはAsioのようないくつかの汎用ソリューションを使用して、ご使用のプラットフォームで使用可能な低レベルのAPIで動作させることができます。 Linuxでは、AIOがファイルに最適なようですが、まだ試していません。それが役に立てば幸い。