同じノード内のリソースマネージャーとノードマネージャーはできますか？ [MapR]

リソースマネージャとノードマネージャの両方が動作しているノードがあります。それはお勧めですか？同じノード内のリソースマネージャーとノードマネージャーはできますか？ [MapR]

2017-07-17 Ayman Anikad

あなたは擬分散モードでのHadoopを実行すると、すべてのデーモンが同じマシン上ではなく、差分のJVMで実行されます。つまり、同じマシンでRMとNMを実行できます。これは、本格的なクラスタを使用する場合は推奨されません。なぜなら、障害などを避けるために別々のマシンに配置するのがよいからです。しかし、クラスタ内の単一のマシンでも実行できます。 – philantrovert

@philantrovertあなたの答えをありがとう。私たちは8ノードのクラスターを持っていますが、私たちは糸の仕事を排除するのにいくつかの問題を抱えています（時間がかかり、他の人の処理を止める）。同じマシンでNMとRMを実行することがこの問題の理由だと思いますか？ RMとNMを別々に使用することをお勧めするのは誰ですか？それはディストリビューションかそれに続くルールからですか？ –

リソースマネージャとノードマネージャは、それが十分なメモリを持っていて、同じノード上で実行することができます。両方のサービスに割り当てたメモリに加えて、そのノードで稼働している残りのサービスとデーモンに割り当てられているメモリがホストのメモリを超えている場合は、OOMEを起動して、Linux OOMキラーによってアプリケーションを強制終了させることができます。

ほとんどのディストリビューションでは、推奨される方法ではありません。別のノードでRMとNMを実行すると、メモリとCPUの分離が向上します。特にNMはコンテナに作業を割り当て、メモリを必要とするため、サービスを実行するためにすべてのメモリを使い切ってノードをオーバーサブスクライブした場合、コンテナを実行するためのメモリが残っていません。

http://www.oracle.com/technetwork/articles/servers-storage-dev/oom-killer-1911807.html

出典

2017-08-15 06:49:28 tk421

同じノード内のリソースマネージャーとノードマネージャーはできますか？ [MapR]

答えて

関連する問題