2017-05-24 7 views
0

10ノードのHDFS(Hadoop-2.6、cloudera-5.8)クラスタを持ち、4つはディスクサイズ - 10TB、6ノードのディスクサイズ - 3TBです。この場合、ディスクは小サイズのディスクノードで常にいっぱいになっていますが、ディスクサイズの大きいノードではディスクは空き容量があります。異なるディスクサイズのノードに対するHDFSデータ書き込みプロセス

namenodeがデータ/ブロックを異なるディスクサイズのノードに書き込む方法を理解しようとしました。それが均等に分割されているのか、何パーセントかのデータが書き込まれているかどうかに関係なく

答えて

0

dfs.datanode.fsdataset.volume.choosing.policyを参照してください。デフォルトではこれはround-robinに設定されていますが、ディスクの設定が非対称であるため、available spaceに変更する必要があります。

enter image description here

することもでき、他の2つのchoosingの特性を持つ微調整のディスク使用量。詳細については

は、以下を参照してください。

https://www.cloudera.com/documentation/enterprise/5-8-x/topics/admin_dn_storage_balancing.html

関連する問題