Hadoop Balancerのパラメータに疑問がある

Question

誰でもこのコマンドの使い方を精巧に説明できますか？私クラスタ内の

hdfs balancer [-source [-f <hosts-file> | <comma-separated list of hosts>]] 

問題は、私のデータノードの一つがその容量のブロックプールの93％を利用され、残りは< 80％を使用していることです。 HortonWorksのドキュメントから

Answer 1

：

新しい-sourceオプションがBalancerはのみdatanodesから移動するブロックを選択するようにソースデータノードのリストを指定することができます。リストが空の場合、すべてのデータノードをソースとして選択できます。デフォルト値は空のリストです。

このオプションを使用して、クラスタ内の特定のデータノードのスペースを解放することができます。 -sourceオプションを指定しないと、バランサは非効率的になることがあります。以下は例です。

Datanodes (with the same capacity) Utilization  Rack 
D1 95%  A 
D2 30%  B 
D3, D4, D5 0% B 

上記の表では、D2が10％のしきい値内になるように平均利用率が25％です。 D2との間でブロックを移動する必要はありません。ソースノードを指定しないと、バランサはまずブロックをD2からD3、D4、D5に移動します。これらは同じラックの下にあるため、ブロックをD1からD3、D4、D5に移動します。ソースノードとしてD1を指定すると、BalancerはブロックをD1からD3、D4、D5に直接移動します。

これはHDFS Balancerの2番目の記事です。次の記事でクラスタのバランスを取るためにBalancerによって配備されたアルゴリズムについて説明します。