HDFSはブロックを複製しません

Question

最近Hadoop（Cloudera）をインストールしました。レプリケートされたブロックの下にエラーが表示されます（インストールのGUIであるCloudera Manager）。私は

hdfs dfsadmin -report 

を実行するときに私はいくつかの理由で私のHDFSはブロックを複製しないことを意味し

Configured Capacity: 555730632704 (517.56 GB) 
Present Capacity: 524592504832 (488.56 GB) 
DFS Remaining: 524592193536 (488.56 GB) 
DFS Used: 311296 (304 KB) 
DFS Used%: 0.00% 
Under replicated blocks: 5 
Blocks with corrupt replicas: 0 
Missing blocks: 0 
Missing blocks (with replication factor 1): 0 

を取得します。何をここからチェックする？それは私のHDFS Balancerの問題であり、手動で実行する必要があるのでしょうか？

Answer 1

、複製ブロックの下で持つための2つの主な理由があります：

1.複製因子を超える利用可能なデータ・ノード

あなたが唯一の2のデータノードがあると仮定して、あなたの複製因子は、各ブロック、3であるが、そのレプリケートする3つのデータノードが存在しないため、レプリケートされたままになります。

ソリューションは、データノードを追加することも、複製の要因を減らすこともできます。

2.クラスタは、クラスタは、ブロックの複製の上に「本当の」仕事の優先順位を決定します

あまりにも忙しかったです。したがって、多数のブロックを作成すると、それに追いつくのに時間がかかることがあります。あなたのクラスタが永続的にビジー状態にある場合、理論的には、レプリケートされたブロックの下には常にいくつか存在する可能性があります。

新しいクラスタであり、ディスクがすべて空であるように見えるので、ここでは2とは思わないことに注意してください。また

---

これには何かが実際に（バランスのような）破ったことはもちろん可能ですが、私はそれはあなたが上記の2例を除外することができることを確認しそれまでは心配ないでしょう。ほとんどの場合、ここでエラーが発生する傾向があります。したがって、このようなことは起こりそうもありません。