テンソルフローの要件

Question

テンソルフローを実動サーバーにデプロイしたいと思います。約200人の同時ユーザーがいると思います。私は、パーサーと私自身のニューラルネットワーク深い学習モデルのいくつかを使用します。私はピークメモリと同じもののCPU使用量を知りたいです。

あなたのお手伝いをお待ちしております。簡単な（しかし非常に変数）を推測しようと

Answer 1

：

をあなたが深い学習の話なら、私はあなたには、いくつかのCNN、おそらくのRNNを含め、3層以上の少なくとも話している推測。

単純な2Dまたは3D入力を使用していて複雑なアーキテクチャを使用している場合は、ボトルネックがCPU上にあると言うことができるため、GPUでアルゴリズムを実装する必要があります。

また、任意の数のクライアントに対してスケーリングを準備する必要があるため、スケーリングの仕組みが最初から有効になります。

また、ワークロードの処理方法や、リアルタイムでの処理が必要なのか、バッチキューが必要なのかを知る必要がありますか？これにより、要件が大幅に変更されます。

これやその他の詳細を把握できたら、見積もりを修正することができます。

よろしくお願いいたします。おそらく、3つの因子の中でグラフ

着信要求

とキューサイズのため

• グラフサイズ
• バッチサイズ：それは3つの要因に依存してメモリの

Answer 2

バッチサイズは、グラフのメモリが最も大きな影響を与えます。グラフサイズxバッチサイズ

CPUについてグラフ用にGPUを使用することをお勧めします。いくつかのテストを行い、グラフと選択したバッチサイズで行うことができる1秒あたりの推論数を数えます。 Tensorflowがうまく実装されていれば、並行性が非常にうまく処理され、バインドされるのはグラフの速度になります