Azure Machine Learning Requestレスポンスレイテンシ

Question

小さなデータセット（12x3配列）といくつかのパラメータを取り、少数のPythonモジュール（線形回帰計算など）を使用して計算を行うAzure Machine Learning Experimentを作成しました。これはすべて正常に動作します。

私は実験を展開して、アプリケーションのフロントエンドからデータを送信したいと考えています。 API呼び出しが入り、正しい結果が戻ってくるが、単純な線形回帰を計算するのに30秒かかる。場合によっては20秒、時にはわずか1秒です。私は100ミリ秒に1回（これは私が望むものですが）それを得ましたが、要求が完了するのに要する時間の90％は受け入れられません。

私はそれがまだ実験中であるか、まだ開発用スロットに入っていると思いますが、より高速なマシン上で動作させるための設定が見つからないことがあります。

私の実行をスピードアップする方法はありますか？

編集：明らかにするために：同じタイミングで複数の同じリクエストを送信するだけで、さまざまなタイミングが同じテストデータで取得されます。これは、私の要求が待ち行列に入れられていること、始動待ち時間があること、あるいは何か他の方法で抑制されていることと関係があると結論づけました。

Answer 1

まず、公開されたAMLエンドポイントでタイミングテストを行っていると仮定しています。

AMLを呼び出すと、最初の呼び出しでコンテナをウォームアップする必要があります。デフォルトでは、Webサービスには20のコンテナがあります。各容器は寒く、冷たい容器は大きな（30秒）遅延を引き起こすことがあります。 AMLエンドポイントによって返された文字列では、isWarmフラグがtrueに設定されているカウント要求のみが返されます。あなたが実行しているコンテナの数に相対して、たくさんのリクエストでサービスを壊すことで、すべてのコンテナを暖かくすることができます。

インスタンスを何十回も送信すると、エンドポイントが絞られている可能性があります。あなたのワークスペース

を選択し、左のバーから

を

1. manage.windowsazure.com/
2. AzureのMLセクションをmanage.windowsazure.com/するために行くことによって、あなたのエンドポイントが受け入れることができるコールの数を調整することができます
3. Webサービス]タブに移動し、スライダー

とコール数を調整

リストからWebサービスを選択します

エンドポイントへのデバッグを有効にすると、各モジュールの実行時間に関するログを取得できます。これを使用して、モジュールが意図したとおりに実行されていないかどうかを判断し、時間に追加することができます。

全体的に、Execute pythonモジュールを使用するとオーバーヘッドがありますが、この要求は3秒以内に完了すると思います。