CNTK分類モデルすべて1を分類する

Question

クリック数やその他の情報に関連する機能を取り入れ、何かが将来クリックされるかどうかを予測するcntkモデルがあります。しかし、ランダムフォレストで同じ機能を使用すると問題なく動作しますが、cntkはすべて1を分類します。なぜこれが起こりますか？パラメータチューニングが必要ですか？機能にはさまざまなスケールがあります。 私の列車アクションは次のようになります。

BrainScriptNetworkBuilder = [ 
    inputD = $inputD$ 
    labelD = $labelD$ 
    #hidden1 = $hidden1$ 
    model(features) = { 
     w0 = ParameterTensor{(1 : 2), initValueScale=10}; b0 = ParameterTensor{1, initValueScale=10}; 
     h1 = w0*features + b0; #hidden layer 
     z = Sigmoid (h1) 
    }.z 
    features = Input(inputD) 
    labels = Input(labelD) 

    z = model(features) 
    #now that we have output, find error 
    err = SquareError (labels, z) 
    lr = Logistic (labels, z) 
    output = z 

    criterionNodes = (err) 
    evaluationNodes = (err) 
    outputNodes = (z) 
] 

SGD = [ 
    epochSize = 4 #learn 
    minibatchSize = 1 #learn 
    maxEpochs = 1000 #learn 
    learningRatesPerSample = 1 
    numMBsToShowResult = 10000 
    firstMBsToShowResult = 10 
] 

Answer 1

KEDが言ったことに加えて、ランダムフォレストは、実際の値を気にしません。特徴のうち、相対的な順序についてのみ。

ニューラルネットワークはツリーとは異なり、（相対的な順序ではなく）フィーチャの実際の値に敏感です。

入力に非常に大きな値を持つ機能が含まれている可能性があります。あなたはおそらくそれらを再コード化すべきです。これを行うためのさまざまなスキームがあります。 1つの可能性は、各フィーチャから平均を減算し、-1,1にスケーリングするか、またはその標準偏差で除算することです。肯定的な特徴の別の可能性は、f => log（1 + f）のような変換である。また、バッチの正規化レイヤーを使用することもできます。

Answer 2

学習率が高すぎると思われる、learningRatesPerSampleを試してみてください= 0.001

Answer 3

あなたの機能はさまざまなスケールであるため、機能を標準化することをお勧めします。あなたは言いました、cntkはすべての入力を1と分類します。訓練されたモデルの使用を予測するときに起こりそうです。しかし、トレーニング中に何が起こりますか？グラフにトレーニング+テストエラーのグラフをプロットできますか（cntkは現在TensorBoardをサポートしています）？それは、あなたのモデルが過度にフィットしているかどうかを示すものです。さらに、私はあなたのデータのより良い分布を学ぶために、モデルの学習能力を高めることを提案します（ほとんどの場合、隠れた層の数を増やすことによって）。