実行中のスパーク/ハープ・クラスタにhdfsデータ・ノードを追加する

Question

私は1つのマスターと2つのノード（ワーカー+データ・ノード）を持つスパーク・クラスタを持っています。
別のデータノードを追加します。私はhdfs dfs -setrep -R -w 2を行う際 問題は、結果があるさ：あなたは30であるためにHDFS内のブロックのバランスをとるように管理するために行う方法を

1st datanode -> DFS Used%: 75.61% 
    2nd datanode -> DFS Used%: 66.78% 
    3rd datanode -> DFS Used%: 8.83% 

知っています - 各approximatly> 33％？

おかげ

Answer 1

実行balancer、ユーティリティを分散クラスタ。これにより、データノード間でデータが再調整されます。

hdfs balancer -threshold <threshold_value> 

-thresholdは、ディスク容量の割合を決定します。デフォルト値は10です。

これは、各データノードのディスク使用量をクラスタの全体的な使用量の10％以内に調整する必要があるか、または調整する必要があることを指定します。

このプロセスは、バランスするデータの量によっては時間がかかる場合があり、クラスタの動作には影響しません。

ノードを追加する場合は、データノードCommissioningを実行します。