より高速な推論のためにモデルを実行可能ファイルとしてコンパイルしますか？

Question

私の訓練されたモデルでPythonスクリプト全体をコンパイルして、より高速な推論を行う方法はありますか？ Pythonインタプリタの読み込み、Tensorflow、numpyなどのすべての処理は、ほんのわずかな時間がかかります。これがサーバーのリクエストで発生する必要がある場合、それは遅いと思われます。

編集

私はサービス提供Tensorflowを使用することができます知っているが、理由はそれに関連した費用のにしたくありません。

Answer 1

どのようにサーバーを設定しますか？ django、flaskまたはtornadoのようなpythonフレームワークを使用してサーバーを設定する場合は、モデルを事前にロードしてグローバル変数として保持し、このグローバル変数を使用して予測する必要があります。

他のサーバーを使用している場合。また、ローカルサーバーとして予測するために使用するPythonスクリプト全体を作成し、PythonサーバーとWebサーバー間の要求または応答を変換することもできます。

Answer 2

テンソルフローモデルのみを提供したいのですか、テンソルフロー以外の作業をしていますか？

テンソルフローモデルの場合は、TensorFlow Servingを使用できます。あなたがgRPCに慣れているなら、これはあなたに非常に役立ちます。