Hadoop2.7.3：私はMacとJavaのバージョン使用していHDFSと糸

Question

を開始した後でデータノード/のResourceManagerプロセスを見ることができません。

$java -version 
java version "1.8.0_111" 
Java(TM) SE Runtime Environment (build 1.8.0_111-b14) 
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) 

は、このリンクをたどっ：https://dtflaneur.wordpress.com/2015/10/02/installing-hadoop-on-mac-osx-el-capitan/

私はHadoopのを最初に醸造をインストールし、設定ssh接続とxmlファイルが必要、と

start-dfs.sh 
start-yarn.sh 

画面出力は次のようである：

$start-dfs.sh 
17/05/06 09:58:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Starting namenodes on [localhost] 
localhost: namenode running as process 74213. Stop it first. 
localhost: starting datanode, logging to /usr/local/Cellar/hadoop/2.7.3/libexec/logs/hadoop-x-datanode-xdeMacBook-Pro.local.out 
Starting secondary namenodes [0.0.0.0] 
0.0.0.0: secondarynamenode running as process 74417. Stop it first. 
17/05/06 09:58:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 

$start-dfs.sh 
17/05/06 09:58:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Starting namenodes on [localhost] 
localhost: namenode running as process 74213. Stop it first. 
localhost: starting datanode, logging to /usr/local/Cellar/hadoop/2.7.3/libexec/logs/hadoop-x-datanode-xdeMacBook-Pro.local.out 
Starting secondary namenodes [0.0.0.0] 
0.0.0.0: secondarynamenode running as process 74417. Stop it first. 
17/05/06 09:58:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 

jpsを使用すると、「DataNode」と「ResourceManager」が表示されません。私は、データノードはHDFSモジュールであるとのResourceManagerが糸モジュールであると仮定します

$jps 
74417 SecondaryNameNode 
75120 Jps 
74213 NameNode 
74539 ResourceManager 
74637 NodeManager 

私はHDFSのファイルを一覧表示することができます

$hdfs dfs -ls/
17/05/06 09:58:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Found 1 items 
drwxr-xr-x - x supergroup   0 2017-05-05 23:50 /user 

しかし、パイの例を実行すると、例外がスローされます。

$hadoop jar /usr/local/Cellar/hadoop/2.7.3/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 2 5 
Number of Maps = 2 
Samples per Map = 5 
17/05/06 10:19:48 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
17/05/06 10:19:49 WARN hdfs.DFSClient: DataStreamer Exception 
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/x/QuasiMonteCarlo_1494037188550_135794067/in/part0 could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation. 

を私はかしら私はどの設定を見逃してしまったのですか？どのように正常に実行されているかを確認する方法と、失敗の理由を調べたりトラブルシューティングをする方法を教えてください。

ありがとうございました。

Answer 1

私はまだ学習段階です。このエラーは、読み取り/書き込み可能なデータ・ノードがない場合に発生します。 次のURLを使用してResource Managerをチェックできます。http://localhost:50070 実行中のデータノードがあるかどうか。 トラブルシューティングのために、hadoopのインストールディレクトリに生成されたログを確認できます。あなたがそのログを共有することができれば、私は助けようとすることができます。