Int8（バイト）演算は深い学習にどのように役立つでしょうか？

Question

Nvidiaはint8操作用のハードウェアサポートを新しいTitanカードに追加し、深い学習コミュニティをターゲットにしようとしています。私はその有用性とどのようなタイプのネットワークがこの恩恵を受けるのか、どの段階（訓練/推論など）をどのように理解するのかを理解しようとしています。

FP32の代わりにFP16がDLには役立つはずですが、int8がどのように機能するかはわかりません。完全なFP32精度で訓練して1バイトに丸めることができるいくつかの研究がありますが、これは訓練のためにメモリフットプリントを高速化または削減するものではありません。

おそらく、いくつかの論文や研究に基づいて（int8のハードウェアアクセラレーションを実装するための）この決定をしました。これは何？

Answer 1

メモリフットプリントと計算オーバーヘッドを減らすために、一般的なアプローチ（特にモバイルの場合）は量子化です。それは整数で起こります。ここではそれについての詳細を読む

https://www.tensorflow.org/performance/quantization