Hadoopのノード数

Question

現在、Hadoopについてはnext tutorialを使用しています。私にとって特別な関心事は、クラスタ内のノードの数です。 私は2台のマシンを持っています。マスターマシンは4CPU、スレーブマシンは32CPUです。 Multinode Cluster in Hadoop 2.xの章では、最終的なノードの結果は2です。つまり、2台のマシンがHDFSクラスタ用に使用されていて、36CPU（マスターから4枚+スレーブから32枚）が使用されていることがわかりますか？

Answer 1

Hadoopプラットフォームには、クラスタリソースを認識するResourceManagerがあります。コンテナのコア数と使用可能なRAMは、各ハーフープノードの糸で構成されます。

map-reduceジョブを送信すると、ApplicationMasterはResourceManagerに利用可能なリソースを問い合わせます。それに基づいて、それはできるだけ多くのマッパー/レデューサーを並行して起動します。

また、アプリケーションUIで特定のジョブで使用可能なリソースの数と使用されたリソースの数を確認することもできます。