Hadoopによるロードバランシングの管理方法

Question

Hadoopの作業を開始しました。
hadoopが負荷分散を管理する方法を知りたい。

1つのクラスタに5つのノードがある場合、どのように各ノードの負荷が等しいか確認してください。
Hadoopがロードバランシングに使用するアルゴリズムはありますか？

ハドープを学ぶのを助けてくれませんか？

Answer 1

あなたは、ファイルシステムであるHDFSではなく、ResourceManagerであるYARNを意味すると仮定します。

YARNは、同等の処理を保証も保証もしていません。

MapReduceに関して、データが特定のキーペアに大きく偏っていると、1つのノードの1つのプロセスがジョブのボトルネックになります。

HDFSを意味するのであれば、文字通りHDFS Rebalancerと呼ばれるものがありますが、それはデータがクラスタ内に広がっていることを保証するためです。しかし、それでもデータの歪みには役立ちません。