Hadoopサーバーの仮想メモリエラー

Question

コマンド実行の最後にDoneという応答が返されますが、応答はThere are 4 pending tasks possibly being run by other workersです。

実行がMapReduceになるたびに、100％にマップされ、4％に縮小され、コンテナが仮想メモリの制限を超えて実行されていると不平を言います。
"mapred-site.xml"と "yarn-site.xml"ファイルを編集して特定のメモリをジョブ処理に割り当てようとしましたが、ジョブを再度実行しましたが、MapReduceになったときでもまだこのコンテナエラーが発生します：

exitCode: 143 due to: Container [pid=30255,containerID=container_1467369594931_0001_02_000001] is running beyond virtual memory limits. Current usage: 205.4 MB of 1 GB physical memory used; 3.0 GB of 2.1 GB virtual memory used. Killing container.

もHadoopJobError：

HadoopJobError: ('Streaming job failed with exit code 1. Also, no tracking url found.', 'packageJobJar: [/var/lib/analytics-tasks/analyticstack/venv/local/lib/python2.7/site-packages/luigi/mrrunner.py, /tmp/tmpdE5zuW/packages.tar, /tmp/tmpdE5zuW/job-instance.pickle, /tmp/hadoop-hadoop/hadoop-unjar4084911391400860326/] [] /tmp/streamjob4527588275110250460.jar tmpDir=null\n', '16/07/01 05:40:55

誰もがこれを解決するための可能な解決策/アプローチを持っていないしてください。

Answer 1

これは不適切な設定のmapred-site.xmlです。 ResourceManagerが利用できるリソースはyarn-site.xmlです。利用可能なリソースに基づいて、mapred-site.xmlのマッパー/レデューサーコンテナごとに利用可能なリソースを割り当てる必要があります。私は推測しています - mapred-site.xmlの中にのyarn.scheduler.minimum.allocation.mbの値がyarn-site.xml未満であることを指定しました。また、yarn-site.xmlの仮想メモリと物理メモリの比率（yarn.nodemanager.vmem-pmem-ratio）も確認してください。また、マッパー/レデューサーのヒープサイズは、コンテナに割り当てるメモリの容量よりも少なくする必要があります。