Azure ML Web Service for Rモデルが予測不可能に表示される

Question

Azure ML Webサービスを公開し、Rモデルにデータをプリロードすると、一貫性のないパフォーマンスが発生します。最初の通話は遅いですが、通話が速いので、次の通話に少し待ってから応答時間が長くなります。

Answer 1

Azure ML Webサービスがバックグラウンドで動作する方法は、モデルをホスティングするインスタンスが非常に動的なマルチテナント環境でプロビジョニングされ、移動されることを意味します。キャッシュデータ（ウォーミングアップ）は役立ちますが、これは、後続のすべてのコールが同じインスタンス上にあり、同じデータがキャッシュ内で使用可能になることを意味しません。

メモリ内のデータが大量に必要なモデルの場合、この時点でAzure ML Web Servicesホスティングレイヤが提供できるものには制限があります。 Microsoft Rサーバーは、これらの大規模なMLワークロードをホストする代わりに、サービスファブリックを使用してスケールすることもできます。