NodeManagerのHadoop数とDataNode数の関係

NodeManagerの数とDataNodeの数の関係は何ですか？したがって、コンテナーの物理メモリ境界例外を超えることはできません。ノードマネージャとデータノードの数との間の相関関係1：NodeManagerのHadoop数とDataNode数の関係

出典

2016-07-13 Marius Cristian Eseanu

あなたの質問は明らかではない。

がYARN構成のチューニングを理解するために、私はこれは非常に良い情報源であることが判明しました。あなたはどういう意味ですか？「物理的なメモリを超えてコンテナの例外を越えることはできませんか？ –

これは私が遭遇するエラーです。コンテナは物理メモリの限界を超えて実行されています。現在の使用法：使用される170 MBの物理メモリの170.2 MB。使用された357.0 MBの仮想メモリの778.4 MB。コンテナを殺す。コンテナはリクエストにより殺されました。終了コードは143です。データノードの数とNodeManagerの数の間には数学的な関係があるため、エラーなしでアプリケーションを実行できます。 –

ノードマネージャとデータノード相関

1があります。

ノードマネージャは、（ノードマネージャ）は、可能な限りのデータ（データノード）に近い走る
データノードは、Hadoopのは、その計算を確実にするために設計されて

データを管理ジョブによって要求されたコンテナを管理します。通常、ジョブ用のコンテナは、データが存在するノードと同じノードに割り当てられます。

したがって、典型的なHadoopクラスタでは、データノードとノードマネージャの両方が同じマシン上で実行されます。

メモリの問題：

通常は、yarn-site.xmlであなたのノードマネージャ関連の設定が間違っているとき、メモリの問題に直面しています。

ノードマネージャの設定を正しく取得するには、MapReduce job hangs, waiting for AM container to be allocatedの回答を確認してください。 yarn-site.xmlとmapred-site.xmlファイルで指定された設定を確認してください。 http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html

出典

2016-07-20 12:45:51

NodeManagerのHadoop数とDataNode数の関係

答えて

関連する問題