ディープラーニングのベンチマークは、16ビットと8ビットの固定小数点精度でどのように実行されましたか？

Question

AlexnetまたはGoogleネットは16ビットで、8ビット固定小数点精度で実行できますか？私はcaffeフレームワークを使用していると仮定します。

Answer 1

はい、8ビット精度であっても、両方のネットワークに有効ですが、精度はわずかに低下する可能性があります。 16ビットは分類作業にはかなり十分であるようです。

Answer 2

Ristrettoと呼ばれるカフェフォークがあり、既存の訓練されたニューラルネットワークを量子化することができます。

しかし、私はCaffeでの推論の実行が「真の」16ビット量子化で可能かどうかはわかりません。正確には、NNのパラメータとアクティベーションは、16ビットまたは8ビットでよいが、32桁の浮動小数点レジスタでは、中間積の値（畳み込みのために積和をとるときなど）が実行される可能性があります。 16または8ビット）。だから私はそれを100％ "真の" 16ビットまたは8ビット実装と呼んでいません。しかし、低ビット量子化に切り替えるときに精度がどのように低下​​するかについてのアイデアはまだあります。