YARNのメモリ消去制限に関する問題

Question

YARN構成の理解に問題があります。
I糸/マップリデュースコンフィグにおけるそのような線を有する：

<name>mapreduce.map.memory.mb</name> 
<value>2048</value> 

<name>mapreduce.reduce.memory.mb</name> 
<value>1024</value> 

<name>yarn.nodemanager.vmem-pmem-ratio</name> 
<value>2.1</value> 

Hereが書き込まれる：

デフォルト（ "yarn.nodemanager.vmem-PMEM比"）2.1に設定されています。これは、NMがコンテナを強制終了する前にマップまたは縮小コンテナが仮想メモリの（mapreduce.reduce.memory.mb）または（mapreduce.map.memory.mb）の最大2.1倍を割り当てることができることを意味します。

ノードマネージャはコンテナを強制終了しますか？
コンテナ全体が2048MB * 2.1 = 4300,8MBに達したら？または1024MB * 2.1 = 2150,4MB

もっと良い説明がありますか？

Answer 1

それぞれのマッパーとリデューサーは、それ自身の別のコンテナで動作します（Uberジョブでない限り、コンテナはマッパーとリデューサーの間で共有されません。

通常、MapperとReducerのメモリ要件は異なります。

したがって、Mapper（mapreduce.map.memory.mb）とReducer（mapreduce.reduce.memory.mb）には異なる設定パラメータがあります。

ので、マッパーとRedcuerのためのあなたのyarn-site.xml、仮想メモリ制限の設定どおりには、次のとおりです。要するに

Mapper limit: 2048 * 2.1 = 4300.8 MB 

Reducer limit: 1024 * 2.1 = 2150.4 MB 

は、マッパーとリデューサーが異なるメモリ設定と制限があります。