spark-yarnはエラーexitCode = 16で終了し、解決方法は？

Question

私はApache Spark 2.0.0とApache Hadoop 2.6.0を使用しています。私は自分のハープ・クラスターでスパーク・アプリケーションを実行しようとしています。

Iは、コマンドラインを使用した：

bin/spark-submit --class org.JavaWordCount \ 
    --master yarn \ 
    --deploy-mode cluster \ 
    --driver-memory 512m \ 
    --queue default \ 
    /opt/JavaWordCount.jar \ 
    10 

しかし、糸= 16エラーexictCodeで終了：

17/01/25 11:05:49 INFO impl.ContainerManagementProtocolProxy: yarn.client.max-cached-nodemanagers-proxies : 0 
17/01/25 11:05:49 INFO impl.ContainerManagementProtocolProxy: Opening proxy : hmaster:59600 
17/01/25 11:05:49 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL TERM 
17/01/25 11:05:49 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 16, (reason: Shutdown hook called before final status was reported.) 
17/01/25 11:05:49 INFO storage.DiskBlockManager: Shutdown hook called 

私はこのtopicでこの問題を解決しようとしたが、それは仮説的な答えを出すものではありません。

誰でもこの問題を解決する方法を知っていますか？

ありがとうございます。

Answer 1

ちょうどこの問題が発生しました。余分なメモリがJVMによって使用されています。プロパティを追加して、すべてのnodemanagersのyarn-site.xmlに

<property> 
    <name>yarn.nodemanager.vmem-check-enabled</name> 
    <value>false</value> 
    </property> 

を追加して再起動してください。それは私のために働いた

参照：https://issues.apache.org/jira/browse/YARN-4714