SyntaxNetは多数の文章を処理するため、GPUはパフォーマンスを向上させますか？

Question

私は既に英語のために訓練されたSyntaxNetを使用して処理したい生のテキストの中に大きなデータセット（〜5.000.000）を持っています。つまり、SyntaxNetモデルを使って文章を処理したいだけです。私は新しいモデルを訓練したくありません。

GPUで処理環境を設定すると、パフォーマンスに何らかの影響がありますか？

CPUの大部分は、ネットワーク/モデルのパラメータと重量を見積もることにあります。推定されると、訓練されたネットワークの適用はトレーニングよりも速くなければなりません。

しかし、Tensorflowではこれまでに仕事をしたことがなく、訓練を受けたモデルをデータに適用する際にGPUが使用されているかどうかはわかりません。

また、SyntaxNetをデーモンやウェブサービスとして設定する簡単な方法は誰も知っていますので、バッチ処理を簡単に行うことができますか？

Answer 1

何かを予測するために、まだグラフ上に多くのテンソル演算を行う必要があります。したがって、GPUは引き続き推論のパフォーマンスを向上させます。このnvidia paperを見てみましょうことは、彼らがTFに自分の作品をテストしていませんが、それはまだ適切である：

我々の結果は、GPUはそれらを作る、最先端の推論 性能とエネルギー効率を提供することを示していますこの分野で訓練されたニューラルネットワークを展開したい人にとっては、 のプラットフォームが最適です。特に では、Titan Xは、16コアXeon E5 CPUよりも5.335〜6.7倍高く、エネルギー効率は3.6〜4.4 倍に達しています。あなたのモデルを展開する方法について

、TF serving