Hadoop上のクラスタのノードリソースに関する推奨事項はありますか？

クラスタのすべてのマシンで同じリソース（CPUとRAM）を使用することをお勧めしますか？Hadoop上のクラスタのノードリソースに関する推奨事項はありますか？

2017-07-19 Ayman Anikad

クラスタのインフラストラクチャ構成は、クラスタを構築しているビジネスケースによって決定され、ビジネス結果を達成するためにクラスタが満たす必要があるデータ処理要件に変換されます。一般に、hadoopシステムは当初、クラスター内に異機種構成のマシンが存在するという概念で設計されていました。（現在、サーバーベンダーは、マスターとスレーブの間でディスクサイジングのばらつきがあり、ハープワークワークロード用に最適化されたマシンを使用しています。

あなたの質問に具体的に対処するために、マスターとスレーブの設定が全く同じで、最大50ノードのクラスタを見たことがあります。頻繁に建築設計の決定を下すことは、常に調達決定を決定するとは限りません。 3つの主要なHadoopのディストリビューションプロバイダから

次のリンクは、クラスタの設計に、より理解し、サイト固有のパラメータ（すなわち、データ処理の必要性、データの増加、データ保持、replication..etc）を適用するには良い出発点のようになります。

Hortonworks：

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.5/bk_cluster-planning/bk_cluster-planning.pdf

Clouderaの：

https://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/

MAPR：

http://doc.mapr.com/display/MapR/Planning+Cluster+Hardware

出典

2017-07-19 12:32:52 Kfactor21

は、あなたの面白い答えをKfactor21 @ありがとうございます。私たちは、糸の仕事の処理にいくつかの問題を抱えています（時間が経つにつれて、仕事は糸の上のすべてのアプリケーションを排除します）。これは、あるノードから別のノードへの資源の違いによるものだと考えています。また、同じマシン上でRMとNMを使用していますが、関連するジョブがこのノードで実行されていたため、この問題の原因と思われますか？ –

こんにちは@AymanAnikad、私はあなたが直面している問題で新しい質問を開くことをお勧めします。あなたはコミュニティからの助けを受けるより良いチャンスを持っています。あなたのクラスタに関する情報がなければ、問題が何であるかを言い表すのが難しいです。環境の詳細（Hadoop Distribution、インフラストラクチャの詳細（MasterNodes/DatanodeとそれぞれのCPU/RAM/DISKの詳細）/ YARNメモリ構成、コンテナサイズ、名前ノードヒープサイズ）、HDFSブロックサイズ。リソースマネージャーからのジョブログ、YARNログ、エラーの周りの少なくともセクション。 – Kfactor21

これは問題ありません。私はそれを行います。あなたのおかげでありがとう:) –

Hadoop上のクラスタのノードリソースに関する推奨事項はありますか？

答えて

関連する問題