テンソルフローモデルにオプティマイザを選択するにはどうすればよいですか？

Question

Tensorflowにはオプティマイザの大量のコレクションがあるようですが、特定のクラスの損失機能に最も適したガイドライン（またはレビューペーパー）がありますか？

Answer 1

あなたのデータセットとNNモデルによって異なりますが、一般的にはアダムから始まります。このペーパーの図2（http://arxiv.org/abs/1412.6980）は、Adamがうまく動作することを示しています。

また、あなたは http://www.denizyuret.com/2015/03/alec-radfords-animations-for.htmlから非常に素晴らしいアニメーションを見ることができます。