NVIDIA TensorRT推論エンジンでTensorflowを実行

Question

私はTensorflowモデルを実行するためにNVIDIA TensorRTを使用したいと考えています。 Currenly、TensorRTはCaffe prototxtネットワーク記述子ファイルをサポートしています。

TensorflowモデルをCaffeモデルに変換するソースコードが見つかりませんでした。回避策はありますか？

Answer 1

TensorRT 3.0は、UFF（universal framework format）を使用してTensorFlowグラフのインポート/変換をサポートしています。いくつかのレイヤ実装が欠けており、IPluginインタフェースを介してカスタム実装が必要になります。

以前のバージョンでは、TensorFlowモデル/チェックポイントのネイティブインポートはサポートされていませんでした。

レイヤー/ネットワークの説明を独自の中間形式（テキストファイルなど）にエクスポートし、TensorRT C++ APIを使用して推論用のグラフを作成することもできます。畳み込み重み/バイアスを別々にエクスポートする必要があります。体重フォーマットに注意してください.TensorFlowはNHWCを使用し、TensorRTはNCHWを使用します。また、ウェイトの場合、TFはRSCK（[filter_height、filter_width、input_depth、output_depth]）を使用し、TensorRTはKCRSを使用します。

はテンソル形式の拡張された議論のために、この論文を参照してください。 https://arxiv.org/abs/1410.0759

また、このリンクは便利な関連情報を持っています。新しいTensorRT 3はTensorFlowのサポートが追加されて https://www.tensorflow.org/versions/master/extend/tool_developers/

Answer 2

んが回避策は、現在必要とされていません。