TensorFlow Liteモデルを16ビットに量子化する方法

Question

次のコードスニペットでは、8ビット量子化TF Liteモデルを作成し、QUANTIZED_UINT8をFLOATに置き換えると、32ビットモデルが作成されます。 16ビット量子化モデルを作成するフラグはありますか？私はTF Liteのドキュメントを検索しましたが、可能なフラグのリストのドキュメントが見つかりませんでした。誰もこれを行う方法を知っていますか？

~/tensorflow/bazel-bin/tensorflow/contrib/lite/toco/toco \ 
    --input_file=$(pwd)/model.pb \ 
    --input_format=TENSORFLOW_GRAPHDEF \ 
    --output_format=TFLITE \ 
    --output_file=$(pwd)/model.lite --inference_type=QUANTIZED_UINT8 \ 
    --input_type=QUANTIZED_UINT8 --input_arrays=conv2d_1_input \ 
    --default_ranges_min=0.0 --default_ranges_max=1.0 \ 
    --output_arrays=average_pooling2d_2/AvgPool --input_shapes=1024,32,32,2 

Answer 1

現在、TFLiteが8ビットでサポートする唯一の量子化タイプです。参照：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/toco/types.proto#L27

これは、既存の量子化モデルでは8ビットで十分であると判断されたためですが、これは変更される可能性があります。量子化に必要なビット数が多いモデルをお持ちの場合は、ユースケースを説明するテンソルフローの問題を作成する価値があります。