hadoopでのディスクまたはデータノードの障害と復旧の手順

Question

Hadoopでのブロックとレプリカの格納手順は、BlockPlacementPolicy関数またはプロセスによって実行されますが、これは最初の格納手順ですデータはHDFSシステムに格納されます）。私は興味のあるプロセスまたはJava関数は、ディスクまたはデータノード障害の後のデータを回復することによって（私は、過小複製の問題を解決することを意味します）回復することに責任があります。私の考えは、私の必要に応じて機能するように、担当の機能を変更することです。これは、レプリカの数を維持し、新しいレプリカ（回復したレプリカ）を自分のディスクに保存することを意味します。

Answer 1

ノードに障害が発生すると、そこに格納されたブロックはHDFSで使用可能ではなくなります。ノードに障害が発生した場合や無効になっている場合、複製されているブロックの数を調べることで、これを簡単に確認できます。

一般に、システムでは、複製が発生したとき（および容量が利用可能なとき）に解決しようとします。だから、基本的にあなたが構築したいソリューションは、すでに存在するはずです。

注：Hadoopは破損したノードからデータを回復しようとしませんが、破損していないノードに基づいて関連するブロックを複製するだけです。