Hadoop Namenode HAとHDFSフェデレーションの違い

Question

QJMとHDFSフェデレーションを使用するHadoop Namenode HAとちょっと混乱します。どちらも複数のnamenodeを使用し、どちらも高可用性を提供します。 Namenode High Availabilityに使用するアーキテクチャーは、どちらもQJM以外は全く同じように見えるので、私は決定できません。

ここで説明する質問のタイプでない場合は、私にはご容赦ください。

Answer 1

HDFSハイアベイラビリティとHDFSフェデレーションの主な違いは、フェデレーションのネームノードが相互に関連していないことです。

HDFSフェデレーションでは、すべてのネームノードがメタデータプールを共有します。各メタデータプールでは、各ネームノードにはプールがあり、フェデレーショントレランスを提供します。つまり、フェデレーション内の1つのネームノードに障害が発生しても、

したがって、フェデレーション=複数のネームノードと相関関係はありません。

HDFS HAの場合、2つのネームノード（プライマリNNとスタンバイNN）があります。 プライマリNNは常時稼働していますが、スタンバイNNはそこに常駐し、プライマリネームノードに関するメタデータをしばらくして更新して更新します。 プライマリNNがこの通常のシートに疲れたら（つまり、失敗すると）、スタンバイネームノードは、最新のメタデータがあればそれを引き継ぎます。

HAアーキテクチャでは、少なくとも2つのセパレータマシンをネームノードとして構成する必要があります。そのうちの1つのみをアクティブ状態で実行する必要があります。

詳細はこちらHDFS High Availability