高トラフィックのアプリでリアルタイム予測のためのTensorFlowを使用する方法 -

Question

トラフィックの多いアプリケーションでリアルタイム予測にTensorFlowを使用する正しい方法は何ですか。

理想的には、テンソルフローを実行しているサーバー/クラスタが、アプリケーションサーバーから接続し、データベースの使用方法と同様の予測を得ることができるポートでリッスンします。 トレーニングデータをネットワーク経由で同じサーバー/クラスタに送るcronジョブによってトレーニングを行う必要があります。

実際にテンソルフローを実際に使用するにはどうすればよいですか？私は、Pythonがサーバとして実行されている環境を構築し、Pythonスクリプトを使用して予測を取得する必要がありますか？私はまだこれに新しいですが、私はそのようなスクリプトは、スケーラブルではないセッションなどを開く必要があると感じています。 （私は約100秒の予測を話しています）。

関連情報へのポインタは高く評価されます。私は何も見つけることができませんでした。

Answer 1

今朝、私たちの同僚は、GitHubでTensorFlow Servingをリリースしました。これは、あなたが言及したいくつかのユースケースに対応しています。これは、複数のモデルの高性能サービスをサポートするように設計されたTensorFlow用の分散ラッパーです。アプリケーションサーバーからの一括処理と対話型要求の両方をサポートします。

詳細については、basicとadvancedチュートリアルを参照してください。