2016-12-06 10 views
0

1hadoop.tmp.dirのデフォルト値は/tmp/hadoop-${user.name}ですが、マシンを再起動するとデータが失われますか?/tmpにhadoop.tmp.dirを設定する

これは実際に/tmpに設定する必要はありませんが、/home/myuser/tmp/hadoop-${user.name}で行う必要がありますか?

ありがとうございます!

追加情報:

私は、/ tmpは/ Hadoopの-hduserでそれを設定しますが、コンピュータが原因電力の問題、今日に中断された私は、このメッセージを得た:Call From java.net.UnknownHostException: hduser-machine: hduser-machine to localhost:54310 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefusedを、私は、このコマンドhadoop namenodeを走り、I ERROR namenode.NameNode: Failed to start namenode. org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-hduser/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.そして、それは/ tmpの設定によるものだと思っていました...

+1

マシンを再起動する場合は、*再起動したノードのための役に立たない一時的な*データを、失うことになります。 – gudok

+0

状況をより詳しく説明するために私の投稿に情報を追加しました:) – majitux

答えて

1

デフォルトでは、Hadoopはそのまま使用するように設定されています。これを達成するために、すべての重要な(非一時的な)ディレクトリは、${hadoop.tmp.dir}を指し、順番に/tmpを指します。これはすべてのLinuxシステムに存在します。

そのように、あなたもhdfs-default.xmlを参照してください、他の重要なパスを調整する必要があります。

dfs.namenode.name.dir 
dfs.datanode.data.dir 
dfs.namenode.checkpoint.dir 

実際の環境では、別の間で一時的かつ非一時的なデータを配信することが可能かもしれないので彼らは別のオプションです物理ストレージデバイス。しかし、セットアップが小さければ、技術的にはyesで、${hadoop.tmp.dir}を永続的(非/ tmp)の場所に指定し、上で書いたものを無視することができます。

+0

ありがとう、@童謡!あなたの答えは非常に明確です! – majitux

関連する問題