機械学習のトレーニングのステップ時間とは何ですか？論文で

Question

：

TensorFlow： を学んで大規模なマシンのシステム（マルティン・アバディ、ポール・バーハム、建民チェン、Zhifengチェン...）

用語「ステップ時間を何「トレーニングステップ時間」とはどういう意味ですか？なぜ簡単に列車の時間を使用していないのですか？

paper screenshot（直接画像を投稿するのに十分な評判を持っていない）

Answer 1

ニューラルネットワークのシナリオでは、エポックは、単一の往路と、すべての訓練例の復路として定義することができます。私たちは一度にすべてのニューロンを私たちのネットワークに送りません。代わりに、ニューロンのバッチ（ミニバッチ）を選択し、それらをフィードインします。我々はトレーニングデータの小さなサブセットを前後に処理します。私たちは確率的勾配降下を実行し、私たちのネットワークがオーバーフィットするのを防ぐためにこれを行います。個々のトレーニングステップ時間とトータルトレーニング時間には違いがあります。たとえば、ネットワークに30のトレーニングステップがある場合、合計トレーニング時間= 30トレーニングステップすべてを完了するために必要な時間。

[15] S. Chintala. convnet-benchmarks, github.com/soumith/convnet-benchmarks.

AlexNetについて

は、カフェトレーニングステップ時間は324である。

次のテーブルの参照[15]をご確認くださいミズ。 合計時間=前進+後退= 121 + 203