浮動小数点数の乗算で浮動小数点を浮動小数点数に比べて高速に行うのはなぜですか？

Question

2つのint行列AとBを持ち、1000行と10K列を超えるので、高速化（4倍以上）を得るためにfloat行列に変換する必要があることがよくあります。

私はなぜこれが当てはまるのだろうか？私は浮動行列の乗算を続けるAVXなど、多くの最適化とベクトル化があることを認識しています。しかし、整数のためのAVX2のような命令があります（私が間違っていない場合）。そして、整数のためにSSEとAVXを使用することはできませんか？

NumpyやEigenなどの行列代数ライブラリの下にヒューリスティックが存在しないため、これをキャプチャしてfloatのように高速に整数行列の乗算を行うのはなぜですか？受け入れ答えについて

： @のサシャの答えは非常に有益と関連しているが、@のchatzの答えは、int型の乗算によってintは関係なく、BLAS、整数行列演算が存在するかどうかの遅い理由は実際の理由です。

Answer 1

あなたは、整数と浮動小数点バージョンのために、非常によく似たアセンブラコードが表示されます-mavx2 -S -O3のフラグを使用して、これらの2つの単純な基本的にちょうど（固有のライブラリを使用して）製品を計算する機能

#include <Eigen/Core> 

int mult_int(const Eigen::MatrixXi& A, Eigen::MatrixXi& B) 
{ 
    Eigen::MatrixXi C= A*B; 
    return C(0,0); 
} 

int mult_float(const Eigen::MatrixXf& A, Eigen::MatrixXf& B) 
{ 
    Eigen::MatrixXf C= A*B; 
    return C(0,0); 
} 

をコンパイルする場合。 しかし、主な違いは、vpmulldのスループットは2〜3倍で、スループットの1/2または1/4はvmulpsです。 （最近のインテル・アーキテクチャで）

参照：Intel Intrinsics Guide「スループット」は、レイテンシが発生しない（ある程度簡略化されている）場合、1回の操作で使用されるクロック・サイクルの数を示します。

Answer 2

これらのベクトルベクトル演算と行列ベクトル演算はすべて、内部でBLASを使用しています。さまざまなアーチ、CPU、命令、キャッシュサイズで数十年に渡って最適化されたBLASは整数型を持たない！

Here is some branch of OpenBLAS（一部はtiny discussion at google-groups linking it）です。

私はIntelのMKL（IntelのBLASの実装）を聞いたと思いますmight be working on integer-types too。 This talkは興味深いです（そのフォーラムで言及されています）。短く、おそらくもっと近づいています小さな整数型埋め込みディープラーニングで便利です）。