H2Oに漏れやすいReLUを実装する計画はありますか？

Question

H2Oのディープ・ラーニング・モジュールに漏れ込みReLUを実装する計画はありますか？私はニューラルネットの初心者ですが、限られたモデル構築とパラメータ調整では、ReLUがより一般化されていることがわかりました。また、ReLUの問題を回避するために漏れ込みReLUsを使用することでさらに優れたパフォーマンスが得られるかどうかは疑問でした。

Answer 1

これは、製品ロードマップが本当にコメントできるものではないので、あなたの質問に直接答えは出ません。しかし、H2OでReLUの問題が死んでしまうのではないかと心配しているのなら、ExpRectifierは指数線形ユニット（RLU）を意味し、ReLUの問題を引き起こすことはありません。実際、this paperは、ELUがすべてのReLU変種より優れていることを証明しています。唯一の欠点は、計算に指数を伴うため、計算量が増えることです。