グリッド検索方法はニューラルネットワークにとって価値がありますか？

Question

私はSVMの最良のパラメータを見つけるためにGridSearch Methodを適用しようとしましたが、今では、ニューラルネットワーク（MLPClassifier）に適用して、最高のアーキテクチャ（層数とニューロン/層数）最高のアクティベーション機能、...

しかし、これはあまりにも計算コストが高くなるのではないかと思っていましたか？さらに、レイヤーとニューロンの数について、どのように「グリッド」を定義する必要がありますか？これはすでにテスト済みですか？ありがとう

Answer 1

はい、いくつかの層とニューロンは、ハイパーパラメータの一部と考えられています。

私の意見では、curse of dimensionalityのため、グリッド検索はニューラルネットワークにとって最良の選択肢ではありません。人々は通常、開発の初期段階では単純なrandom searchと考えています。多くの場合、いくつかのハイパーパラメータがロス関数に多くの影響を及ぼさないため、すべての可能な組み合わせを網羅的に検索する必要はありません。

だから、私は次のループを示唆している：

1. が必要になりますいくつかの時間後にハイパー値（上限/下限、ステップ）
2. 異なる組み合わせ
3. ためのスタートランダムサンプリングの合理的なセットを決定新しい境界

で探索空間に

繰り返しを狭くする（たぶん）ことができます

特殊な場合には、グラデーションベースのベイズ最適化を使用できますが、これらのオプションは非常に問題があります。