Hadoopでは、レプリケーションファクタとクラスタ内のノード数の関係は何ですか？

Question

たとえば、複製係数が3で、クラスタに2つのノードがある場合。次に、いくつのレプリカが作成されますか？彼らはどのように配置されますか？

Answer 1

利用可能なデータノードよりも大きい複製ファクタが複製の目的を破ると、レプリカは、データノード上に一意に配置された&である必要があります。 1つのデータノードに同じブロックの（理論的に）複数のレプリカが含まれている場合、そのノードがダウンすると両方のレプリカが失われるため、フォールトトレランスは追加されません。したがって、ノードあたり1つのレプリカだけで十分です。

そして、あなたの質問に答えるために：

1. 複製因子とデータクラスタ内のノードの数との関係は何ですか？ Ans。最大レプリケ​​ーションファクタは#dataノード以下である必要があります

2. レプリケーションファクタが3でクラスタに2つのノードがある場合。次に、いくつのレプリカが作成されますか？
   Ans。私が試した限りでは、わずか2つのレプリカが作成されます。 （hdfs dfs -setrepオプションを使用してください）

3. どのように配置されますか？ Ans。これらはデータノードごとに1つ配置されます。

あなたがより#datanodes超える複製因子を提供する場合したがって、あなたが作成しようとしている余分なレプリカがhdfs fsck出力に行方不明のレプリカとして言及されます。また、対応するブロックは、未処理ブロックとして扱われます。