2017-01-27 2 views
0

私は深い学習(特にdeeplearning4j)に新しいですし、例を試しています。特に、以下のCSVの例でどのタイプのニューラルネットワークを使用しているのかを知りたい。これは、深い学習ニューラルネットワークか、単に「通常のニューラルネットワーク」ですか?私は、通常のニューラルネットワークとディーププレイングニューラルネットワークの違いは、DLアルゴリズムが「消失勾配」問題に取り組んでいることです。通常のニューラルネットワークでは問題にはなりません。私はここで少し混乱している。私が感じることは、次のことは規則的なニューラルネットワークですが、私は確認したいと思います。これはどのタイプのニューラルネットワークですか?

MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder() 
     .seed(seed) 
     .iterations(iterations) 
     .activation(Activation.TANH) 
     .weightInit(WeightInit.XAVIER) 
     .learningRate(0.1) 
     .regularization(true).l2(1e-4) 
     .list() 
     .layer(0, new DenseLayer.Builder().nIn(numInputs).nOut(3) 
      .build()) 
     .layer(1, new DenseLayer.Builder().nIn(3).nOut(3) 
      .build()) 
     .layer(2, new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD) 
      .activation(Activation.SOFTMAX) 
      .nIn(3).nOut(outputNum).build()) 
     .backprop(true).pretrain(false) 
     .build(); 

    //run the model 
    MultiLayerNetwork model = new MultiLayerNetwork(conf); 
    model.init(); 
    model.setListeners(new ScoreIterationListener(100)); 

model.fit(trainingData);

コード - https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/dataExamples/CSVExample.java

答えて

1

確かに1つの隠れ層との定期的なフィードフォワードニューラルネットワークです。 (コードを正しく読んでいる場合)

何かが深い場合の主な懸念事項は、隠れたレイヤの数です。 0-1隠れたレイヤーは決して深いとはみなされません。 2は通常はありません。 3+通常はです。

特別なディープ学習法(ConvNet、DBN Pretraining、ReLUなど)を使用するかどうかは、ネットワークが深刻ではないかどうかにかかわらず、より良い結果を得るのに役立つかどうか。

他のものとして、良い抑圧を得ることに関連する他のものが深い学習、例えばSkip-gramがword2vecからの理由で束ねられていることがあります。彼らは信じられないほど浅いですが。

+0

ありがとう、ありがとう! –

関連する問題