パフォーマンスペナルティ私は次のような++ CUDAカーネル呼び出しを実行するオーバーヘッドは、C/Cであるものを思ったんだけど、CUDAカーネル

Question

を呼び出すとき：

somekernel1<<<blocks,threads>>>(args); 
somekernel2<<<blocks,threads>>>(args); 
somekernel3<<<blocks,threads>>>(args); 

ので、私はこれを求めていた理由があります私がビルドしているアプリケーションは現在、いくつかのカーネルに繰り返し呼び出しを行います（メモリ間の再読み込みや呼び出しの間にデバイスに書き込まれることはありません）、これらのカーネル呼び出しを単一のカーネル呼び出し（somekernel1-3がデバイス機能になる）パフォーマンスに意味のある違いがあります。

Answer 1

ランタイムAPIを使用したカーネル起動のホスト側オーバーヘッドは、WDDM以外のWindowsプラットフォームでは約15-30マイクロ秒です。私が使用していないWDDMプラットフォームでは、これははるかに高くなる可能性があることを理解しています。さらに、ドライバの一括操作で複数の操作を行うことでコストを償却しようとするバッチ処理メカニズムがあります。

一般的に、別々のカーネルでアルゴリズムが許す単一のカーネルで行われる複数のデータ操作を「融合」するとパフォーマンスが向上します。 GPUはピークメモリ帯域幅よりもはるかに高い算術ピーク性能を持つため、メモリトランザクション（およびカーネルの「セットアップコード」）ごとに実行できるFLOPが多いほど、カーネルのパフォーマンスは向上します。一方、完全に異種の操作を単一のコードに詰め込もうとする「スイス軍ナイフ」スタイルのカーネルを作成しようとすると、レジスタの圧力が上がり、L1、定数メモリとテクスチャキャッシュ。

どちらの方法を選択するかは、コード/アルゴリズムの性質によって実際に導かれるべきです。私は、すべての状況に適用できるこの質問に対する単一の「正しい」答えがあるとは思わない。

Answer 2

Windows上でVisual Studio Proを使用している場合は、NVidiaのParallel NSightを使用してテストアプリケーションを実行することをお勧めします。メソッド呼び出しから実際の実行までのタイムスタンプを教えてくれると思います。しかし、カーネルが長く続く場合は無視されます。