ネームノードの削除後にHDFSからファイルを復元する

Question

私のnamenodeサーバが今週末にハッキングされ、/ usr/local/hadoopディレクトリが存在しなくなりました。 HDFSに保存されているファイルを回復することはできますか？データノードはアクセス可能であり、それぞれは階層blk _ {...}データのどこかに含まれています。

Answer 1

名前dirのコピー/バックアップがない場合、データのリカバリは非常に難しい作業です。データノードはファイルの概念を認識せず、ブロックのみを認識します。これらのブロックにはすべてのデータが存在しますが、ブロックから手動でファイルを再構築する必要があります。あなたが探しているものを見つけるためにブロック全体を見分けることができるかもしれないが、それよりも優れたものは何も認識していない。

これは、名前空間の複数のコピーを重複して格納するための方法がいくつか存在する理由です。 dfs.namenode.name.dirプロパティに複数のディレクトリを指定し、名前空間のコピーを格納するリモートロケーションとして機能する、セカンダリまたはスタンバイネームノード（https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Secondary_NameNodeを参照）のいずれかを使用します。