リアルタイム予測のためのCNTK配置

Question

TensorFlowには、TensorFlow Servingと呼ばれるhereと記載されているように、本番用に別のプロジェクトがあります。

実稼働環境でCNTKを使用する方法と、その展開をどのように処理する必要がありますか？うまくいけば、訓練されたモデルを、RPCまたはHTTP REST APIでモデルにサービスを提供するサーバー/クラスターに配置することができます。

このようなツールが存在しない場合は、それを開発するための最初のステップと、自分で展開するための適切なアーキテクチャは何ですか？

Answer 1

CNTKモデルの運用環境でのサポートをサポートしています。モデル評価/推論に関する情報は、https://github.com/Microsoft/CNTK/wiki/CNTK-Evaluation-Overviewです。展開するには、hereと指定したDLLを展開する必要があります。 AzureにCNTKをデプロイするためのチュートリアルはhereです。

Answer 2

CNTKチームのツールはありませんが、C++やPythonの新しいAPIを使用すると、訓練されたモデルを作成するだけで作業が簡単になります。