コンテナが仮想メモリ制限を超えて実行されています

Question

私がrhadoopの例を実行すると、以下のエラーが発生します。

は、仮想メモリの制限を超えて実行されています。現在の使用法：121.2 MBの1 GBの物理メモリが使用されています。 2.1 GBの仮想メモリが使用されています。コンテナを殺す。

要求に応じて容器が殺されました。終了コードは、私はそれを修正するにはどうすればよいのエラーコードで1

をコンテナがゼロ以外の終了コード143

のHadoopストリーミングで終了しました143

失敗していますか？

マイハープ設定。

mapred-site.xmlの

<configuration> 
     <property> 
       <name>mapreduce.framework.name</name> 
       <value>yarn</value> 
     </property> 
</configuration> 

糸-site.xmlの

<configuration> 

<!-- Site specific YARN configuration properties --> 
     <property> 
       <name>yarn.nodemanager.aux-services</name> 
       <value>mapreduce_shuffle</value> 
     </property> 
     <property> 
       <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> 
       <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
     </property> 
     <property> 
       <name>yarn.nodemanager.local-dirs</name> 
       <value>/usr/local/hadoop-2.7.3/data/yarn/nm-local-dir</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.fs.state-store.uri</name> 
       <value>/usr/local/hadoop-2.7.3/data/yarn/system/rmstore</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.hostname</name> 
       <value>localhost</value> 
     </property> 
     <property> 
       <name>yarn.web-proxy.address</name> 
       <value>0.0.0.0:8089</value> 
     </property> 
</configuration> 

Answer 1

mapred-site.xmlのを変更しました。

「コンテナ[PID = 791、ContainerIDの= container_1499942756442_0001_02_000001]仮想メモリの限界を超えて実行されている現在の使用：。。。使用する1ギガバイトの物理メモリの135.4メガバイト、使用2.1ギガバイトの仮想メモリの2.1ギガバイトキリング容器」

私は糸-site.xmlのは、この一つの設定は、私の場合には十分だった

<property> 
<name>yarn.nodemanager.vmem-check-enabled</name> 
<value>false</value> 
</property> 

ファイルに仮想メモリチェックを無効にすることで、それを解決しました。

Answer 2

私は、サイトの下に言及しました。 http://crazyadmins.com/tag/tuning-yarn-to-get-maximum-performance/

次に、mapreduceのメモリ割り当てを変更できることを知りました。

私はYARNクラスタ上でスパークアプリケーションを実行している間、私はほぼ同じエラーを得た

<configuration> 
     <property> 
       <name>mapreduce.framework.name</name> 
       <value>yarn</value> 
     </property> 
     <property> 
       <name>mapreduce.map.memory.mb</name> 
       <value>2000</value> 
     </property> 
     <property> 
       <name>mapreduce.reduce.memory.mb</name> 
       <value>2000</value> 
     </property> 
     <property> 
       <name>mapreduce.map.java.opts</name> 
       <value>1600</value> 
     </property> 
     <property> 
       <name>mapreduce.reduce.java.opts</name> 
       <value>1600</value> 
     </property> 
</configuration>