テンソルフローを使用したResnet 101モデルでより速いRCNNを提供するにはどうすればいいですか

Question

テンソルフローを使用したResnet 101モデルでより高速なRCNNを提供しようとしています。

私は、tf.saved_model.builder.SavedModelBuilderを使用してモデル定義と変数をエクスポートする必要があることを知っています。次に、tensorflow_servingによって提供されるinception_client.pyのようなスクリプトが必要です。

例とドキュメントを調べて実験しているうちに、誰かが同じことをしている可能性があります。あなたが同じことをやっているなら、それをやり遂げる方法を知っていれば助けてください。前もって感謝します。

Answer 1

Tensorflow Object Detection APIには、Tensorflow Servingで見つかった古くなった例よりも洗練された独自のエクスポータスクリプトがあります。

サービングTensorflowを構築する際は、必ず最新のマスターがtensorflow/tensorflow（> R1.2）のコミット引くとtensorflow /モデル

はGPU

bazel build -c opt --config=cuda tensorflow_serving/...

のためのサービングTensorflowを構築します

クロスツールとncclに関するエラーが発生した場合は、https://github.com/tensorflow/serving/issues/186#issuecomment-251152755 https://github.com/tensorflow/serving/issues/327#issuecomment-305771708

使用

python tf_models/object_detection/export_inference_graph.py \ --pipeline_config_path=/path/to/ssd_inception_v2.config \ --trained_checkpoint_prefix=/path/to/trained/checkpoint/model.ckpt \ --output_directory /path/to/output/1 \ --export_as_saved_model \ --input_type=image_tensor

エクスポート時にすべての変数は定数に変換されているProtobufバイナリに焼いたことに注意してください。あなたはsaved_model /変数ディレクトリ

下のすべてのファイルがサーバーを起動するには見つからない場合Tensorflow下の例では、仕事だけでなく

にサービスを提供、クライアントのよう

bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9000 --model_name=inception_v2 --model_base_path=/path/to/output --enable_batching=true

、パニックしないでください。