SIMD組み込み関数を使用するときに入力依存ホットデータをレジスタに保持する方法

Question

クエリ応答プログラムを高速化するためにIntel SIMD組み込み関数を使用しようとしています。 query_cntが入力に依存するが、常にSIMDレジスタの数よりも少ない（すなわち、それらを保持するのに十分なSIMDレジスタがある）と仮定する。クエリはアプリケーションのホットなデータなので、必要なときに毎回ロードするのではなく、最初にロードして常にレジスタに保持してもよいでしょうか？

クエリがfloatタイプで、AVX256がサポートされているとします。私はそれが潜在的なロード/ストアのオーバーヘッドがあるので、良い習慣ではありません知っているが、少なくとも、彼らができるようにvec_queries[i]を最適化することができ、わずかチャンスがある

std::vector<__m256> vec_queries(query_cnt/8); 
for (int i = 0; i < query_cnt/8; ++i) { 
    vec_queries[i] = _mm256_loadu_ps((float const *)(curr_query_ptr)); 
    curr_query_ptr += 8; 
} 

：今、私のようなものを使用する必要があります私はまだそれが良い方法ではないと思う。

もっと良いアイデアを教えてください。

Answer 1

投稿したコードサンプルから、あなたは可変長のmemcpyをやっているようです。コンパイラの動作とその周辺のコードによっては、実際にmemcpyを呼び出すだけで良い結果が得られるかもしれません。例えばベクトル・ループとrep movsbとの間のブレーク偶数ポイントは、Intel Haswellでは〜128バイトになる可能性があります。 memcpyに関するいくつかのインプリメンテーションノートと、いくつかの異なる戦略のサイズとサイクルのグラフについては、インテルの最適化マニュアルをチェックしてください。 （x86タグwikiのリンク）

あなたはどのCPUを言っていないので、私は最近のインテルを想定しています。

あなたはレジスタについてあまりにも心配していると思います。 L1キャッシュでヒットした負荷は非常に安いです。 Haswell（およびSkylake）は、クロックごとに2つの__m256ロード（および同じサイクル内のストア）を実行できます。それ以前は、Sandybridge/IvyBridgeはクロックごとに2つのメモリ操作を行うことができ、そのうちの1つはストアとなりました。また、理想的な条件（256bのロード/ストア）では、1つのクロックで2倍の16Bロードと1倍の16Bを管理できます。したがって、256bベクタをロード/格納するのはHaswellよりも高価ですが、L1キャッシュで整列していれば非常に安いです。

私はコメントで、GNU C global register variablesが可能性がありますが、主に「これは理論的には技術的に可能です」という意味で述べました。プログラムの実行時間全体（ライブラリ関数呼び出しを含むので、再コンパイルする必要があるでしょう）には、この目的に専用の複数のベクトルレジスタが必要ではないでしょう。

実際には、重要なループ内で使用するすべての関数の定義をコンパイラがインラインで（または少なくとも最適化しているのを見て）確認できることを確認してください。そうすれば、WindowsとSystem V x86-64 ABIの両方に呼び出し保存YMM（__m256）レジスタがないため、ファンクションコール間でベクトルレジスタをスピル/リロードする必要がなくなります。

最新のCPUのマイクロアーキテクチャの詳細、少なくとも実験で測定して調整することが可能な詳細については、Agner Fog's microarch pdfを参照してください。