autoencoderの隠れたレイヤーで、どの入力xが最大化する関数ですか？

Question

こんにちは、私はスタンフォード大学について機械学習について約オートエンコーダについて読んでいるとき、自分で証明するのが難しい式を見つけました。 Link to Material

質問です： "？入力画像xはAIが最大限に活性化することが原因となるもの" の質問とコンテキストの

スクリーンショット：

あなたに感謝事前に回答！

Answer 1

これはKLT条件とラグランジュ乗数を使用して厳密に解くことができますが、結果を理解するためのより直感的な方法があります。私はf（。）が単調増加するシグモイド型の非線形性（ReLUも有効）であると仮定します。したがって、制約（x1）^ 2 + ... +（x100）^ 2 < = 1の下でw1x1 + ... + w100x100 + bの最大値を見つけることは、f（w1x1 + ... + w100x100 + b）を同じ制約で置き換えます。

g = w1x1 + ... + w100x100 + bはx項の一次関数であることに注意してください（gという名前をつけて、後でそれを参照してください）。したがって、その関数のドメイン内の任意の点（x1、...、x100）における最大増加の方向は、勾配と同じです。勾配はドメインの任意の点で単純に（w1、w2、...、w100）です。つまり、開始位置から独立して（w1、w2、...、w100）の方向に進むと、関数の最大の増加を得る。物事がsimplierにするために、私たちは視覚化できるようにするために、我々はR^2のスペースと機能していることを前提とすることはw1x1 + w2x2 + Bである：

最適X1およびX2は、中または上に存在するように制約されています円C：（x1）^ 2 +（x2）^ 2 = 1。我々が原点（0.0）であると仮定する。グラデーション（青い矢印）（w1、w2）の方向に進むと、青い矢印がサークルと交差する関数の最大値に到達します。この交点には座標c *（w1、w2）があり、c = 2（w1^2 + w2^2）= 1であり、cはスカラー係数です。 cはc = 1/sqrt（w1^2 + w2^2）として簡単に解かれる。次に、交差点では、x1 = w1/sqrt（w1^2 + w2^2）とx2 = w2/sqrt（w1^2 + w2^2）を求めます。これは、100次元の場合と同じように拡張することができます。

なぜ私たちは起源で始まったのか、そしてその円の中の他のどの点で始まったのかを尋ねるかもしれません。赤い線は勾配ベクトルに対して垂直であり、関数はその線に沿って一定であることに留意されたい。その円（U1、U2）の線を描画し、円を横切る制約に任意にその向きを保ちます。そして円の中に入るように線上の任意の点を選択します。 （u1、u2）行では、どこにいても関数gと同じ値から始めます。次に、あなたが（w1、w2）の方向に進むと、円の中で取られた最長の経路は常に原点を通ります。つまり、あなたは関数gを最も大きくする経路を意味します。