max_batch_size、batch_timeout_micros、num_batch_threadsなどのパラメータを使用してバッチ処理のパフォーマンスチューニングを行う方法は？クエリクライアントでこれらのパラメータを使用しようとすると、動作しません。Tensorflow Servingバッチパラメータ
以下の例では、100個のイメージがあり、サイズは10でバッチしたいと思います。 bazel-bin/tensorflow_serving/example/demo_batch --server = localhost：9000 - -max_batch_size = 10
また、バッチスケジューリングでは、最初のバッチが完了してから10秒ごとに実行する方法はありますか？ありがとう。
私はあなたのような同じ問題に遭遇しました。
そして私はTF-サービングのソースコードをチェックし、これらのパラメータが
serving/tensorflow_serving/servables/tensorflow/session_bundle_config.proto
に定義されているProtobufファイルであり、Iは、サービング
例のconfファイルを発見/ tensorflow_serving/servables /テンソルフロー/ testdata/batching_config.txt
私はあなたがbatching_config.txt形式に従うことができると信じて、パラメータの設定は動作するはずです。
希望します。
max_batch_size {値：1024}
batch_timeout_micros {値：0}
max_enqueued_batches {値：1000000}
num_batch_threads {値：8}
allowed_batch_sizes：1
allowed_batch_si ZES：2
allowed_batch_sizes：8
allowed_batch_sizes：32
allowed_batch_sizes：128
allowed_batch_sizes：256
allowed_batch_sizes：512
allowed_batch_sizes：1024