hdfsデータノードは、しばらくの間ダウンした後に再起動した場合、再起動しません。

Question

hadoop 2.9.0のPOCを分散ファイルストレージシステムとして実行しています。レプリケーションファクタ2の4データノード（マスタを含む）。

ここで、一連のコピー操作の後、私はdatanode（slave2）の1つを停止することにしました。そして、slave2がまだダウンしている間に、hdfs dfs -rm -skipTrashコマンドを使って数GBのデータを消去しました。

後で私が停止したslave2データノードを再起動し、ダウンタイム中にhdfsから削除されたデータブロックをクリーンアップしなかったようです。

データを追加/削除してマスターnamenodeと同期するかどうかを確認し、ローカルクリーンアップを実行してディスクスペースを再利用しましたが、復旧しませんでした。

スレーブ2：

hduser@slave2:~$ hdfs dfs -du -s -h/
4.5 G/
hduser@slave2:~$ du -sh /hadoop-tmp/ 
7.7G /hadoop-tmp/ [<-- notice extra 2.2 GB of data present on local disk] 

マスタ：

hduser@master:~$ du -sh /hadoop-tmp/ 
4.6G /hadoop-tmp/ 
hduser@master:~$ hdfs dfs -du -s -h/
4.5 G/

SLAVE1：

以下

は、各ノード上のデータ消費量であります

hduser@slave1:~$ hdfs dfs -du -s -h/
4.5 G/
hduser@slave1:~$ du -sh /hadoop-tmp/ 
4.5G /hadoop-tmp/ 

slave3：

hduser@slave3:/$ du -sh /hadoop-tmp/ 
2.8G /hadoop-tmp/ 
hduser@slave3:/$ hdfs dfs -du -s -h/
4.5 G/

私はここに私の質問は、それがローカルから削除されたデータブロックを記憶していることを確認するために、マスターの名前ノードと同期するのにかかるdatenodeスレーブ2どのくらいの時間」であると思いますHDFSクラスタであるため、それをクリーンアップする必要があります。それが時間外に起こったら、同期の時間間隔を制御することができますか？」

そして、それが起こらない場合、ダウンした後に復旧したデータノードからディスクスペースを再利用するプロセスしばらく？

Answer 1

あなたのクラスタ上で一貫性のないブロックを特定し、そのデータがもはや維持されることを意図している場合には残さないブロックを削除するために必要な行動を取るために、fsckを実行することを検討するかもしれません。