データノードが死にかけている

私はhadoop 0.20.2を実行しています（これはレガシーアプリケーションです）。私は、2つのノードを持つ単純なマスター - スレーブ設定を持っています。私はマスターにjpsコマンドでクラスタの罰金を起動することができますデータノードが死にかけている

4513 TaskTracker 
4225 DataNode 
4116 NameNode 
4565 Jps 
4329 SecondaryNameNode 
4410 JobTracker

とJPSは、スレーブにコマンド：

2409 Jps 
2363 TaskTracker 
2287 DataNode

しかし、私はのようなHDFSと相互作用してコマンドを実行した場合：

hadoop dfs -ls/

を

これには数分かかり、データノードの1つが消滅します。

2017-07-05 16:12:59.986 INFO main org.apache.hadoop.hdfs.server.common.Storage - Cannot lock storage /srv/shared/hadoop/dfs/data. The directory is already locked. 
Cannot lock storage /srv/shared/hadoop/dfs/data. The directory is already locked.

私はすべてのデーモンを停止し、DFS /データを削除し、名前ノードをフォーマットしようとしている：私は、既知のバグ（the directory is already locked hadoop）である、これを見ることができるログで探し。それを実行した後、私は正常にクラスタを再起動することができます。ただし、hdfsとやりとりしたり、MRジョブを実行したりするとすぐに、データノードは消滅します。私は他の記事によると取ってい

正確な手順は以下のとおりです。 1.ストップすべてのデーモン 2.

わからない 4.開始-format DFS /データディレクトリ 3.実行のHadoop名前ノードをすべてのデーモン削除私は何を試すことができます。

出典

2017-07-05 C.A

'/ srv/shared'はネットワーク共有マウントされたフォルダですか？それは複数のデータノードによって共有されていますか？ –

こんにちはRemus、はいこれは共有されているマウントされたフォルダです。 –

確かに私はHDFSストレージ用の共有フォルダを使用する理由を考えていますが、とにかく、各データノードが共有ストレージ上の別のフォルダを使用していることを確認してください** –

Remus Rusanuは、正しくマウントされた共有フォルダにHDFSが格納されていると正しく指摘しており、それが問題です。個別のdata.dirsを指定することで問題は解決されます。

出典

2017-07-05 14:56:21

データノードが死にかけている

答えて

関連する問題