HadoopでDFSを消去する

Question

HadoopでDFSを消去するにはどうすればよいですか？

Answer 1

hdfs dfs -rm -r "/*" 

（旧答えが廃止されました）

Answer 2

bin/hadoop namenode -format 

Answer 3

あなたは二つのことを行う必要があります。

1. は、すべてのノードからメインのHadoopストレージディレクトリを削除します。このディレクトリは、hdfs-site.xmlのhadoop.tmp.dirプロパティで定義されています。

2. 再フォーマット名前ノード：

hadoop namenode -format 

あなただけの（2）、それが唯一の名前ノードによって格納されたメタデータを削除しますけど、すべての一時的な記憶を取り除くしない場合とデータノードブロック。

Answer 4

これは私が過去にしなければならなかったことです。

1. NameNodeのhadoopディレクトリに移動し、すべてのhadoopプロセスを停止します。デフォルトのすべて停止スクリプトを実行します。これにより、DFSも停止します。例えば今、すべてのマシン上で、クラスタ内の

cd myhadoopdirectory 
bin/stop-all.sh 

2.

は（Namenodes、JobTrackersは、datanodesなど）メインのHadoopストレージ鉱山内のすべてのファイルを削除し、ルートフォルダ内の一時フォルダに設定されています。あなたのファイルは、hadoop.tmp.dirプロパティのconf hdfs-site.xmlファイルにあります。

cd /temp/ 
rm -r * 

3.最後に自分の名前のノードに戻って、あなたのHadoopディレクトリに移動し、例えば「-format binに/のHadoop名前ノード」を実行することによって、それをフォーマット

cd myhadoopdirectory 
bin/hadoop namenode -format 

4.次のコマンドを実行して、クラスタを再度起動します。また、DFSを再起動します。

bin/start-all.sh 

5.これはうまくいくはずです。

Answer 5

あなたはこれがDFSの下のすべてのディレクトリとサブディレクトリを削除します

hadoop fs -rmr/

を発行することができます。

別のオプションは、クラスタを停止してから発行することです：

hadoop namenode -format 

これはDFS上のすべての内容を消去し、再度クラスタを起動します。

Answer 6

1. dfsとmapreduceを停止するには、bin/stop-all.shに電話する必要があります。
2. conf/hdfs-site.xmlおよびconf/mapred-site.xmlで設定されたデータディレクトリを削除します。
3. /tmpディレクトリにある一時ファイルが削除されていることを確認してください。

上記の手順をすべて実行した後、bin/hadoop namenode -formatを呼び出してdfsを再生成することができます。

Answer 7

1. あなたは

   ${HADOOP_HOME}/bin/stop-mapred.sh

   ${HADOOP_HOME}/bin/stop-dfs.sh

   またはその擬似が配布場合は、クラスタの停止は、単に問題：

   ${HADOOP_HOME}/bin/stop-all.sh

2. フォーマットあなたのHDFS

   hadoop namenode -format