免責事項:私はまた新しく、これは多くの場合間違っている可能性があります。
私はテンソルフローの深い学習の初心者です。 seq2seqモデルサンプルコードを試しています。
私は理解したかった:層の数、私は十分な精度でseq2seqモデル をテストできるようにして始めることができ層のサイズとバッチ サイズの最小値
は何ですか?
これはあなたの実験によるものであると思います。あなたのデータセットで何ができるか調べてください。私はいくつかのアドバイスを聞いたことがあります。自分のアーキテクチャを選ぶことはできません。他の人が試してテストされているものを見つけることができます。あなたがあまりにも選択している場合は、より深いネットワークが広いよりも優れているようだ。私はまた、メモリがあれば大きなバッチサイズが良いと思います。私はネットワークのサイズを最大にして正規化して、過密でないように聞いたことがあります。
私はこれらの質問は誰も本当に答えを知っていないという印象を持っています(これについては非常に間違っている可能性があります)。層の大きさ/層の数を選択するという賢明な方法が大好きですが、これらの変更がトレーニングにどのように影響するか正確に知る人はいません。また
、数時間の最大時間内に、この深い 学習モデルを訓練するためにメモリやCPU性能の面で必要な最低限のインフラストラクチャのセットアップ。
あなたのモデルによっては、不合理な要求になる可能性があります。いくつかのモデルは数千時間ではなく数時間(GPUで)トレーニングするようです。
私の経験では、2層サイズ900とバッチサイズのとニューラルネットワークを構築するためにseq2seqモデルを訓練されて たシングルコア プロセッサ4ギガバイトのRAM、3GHzのインテルi5の上で訓練するために約3日かかりました。 8GB RAM、3GHz Intel i5 シングルコアプロセッサでトレーニングするのに約1日かかりました。 RAM容量、複数のCPUコア、またはCPU + GPUの組み合わせコア?
GPUが最も役立つと思います。私はCPU(非同期俳優の批評家か何かを使用するもの)を見ましたが、CPUの方が良いように見えるところではロックを使わなかったが、GPUはあなたに巨大なスピードアップを与えると思います。