Hadoop 2.7.4リソースを使用して糸を設定する

Question

これは、tutorialに従って、hadoop 2.7.4を設定しました。 DataNode、NameNode、およびSecondaryNameNodeが正しく動作しています。

しかし、私は糸を実行すると、ノードマネージャは、次のようなメッセージでダウンした

org.apache.hadoop.yarn.exceptions.YarnRuntimeException： org.apache.hadoop.yarn.exceptions.YarnRuntimeException：受け取っ ResourceManagerからのSHUTDOWN信号、NodeManagerの登録 が失敗しました。ResourceManagerからのメッセージ：localhostからのNodeManager は、最小割り当てを満たしていません。 NodeManagerにSHUTDOWN信号を送信しています。

私のシステムは8GBのRAMを備えた8CPUです。これらのリソースで糸を構成する方法は？私はthisのような多くを見つけましたが、私の問題を解決する解決策を見つけることができませんでした。

Answer 1

私はコース中に同じ問題を抱えていました。 コアのAmazon仮想マシンを使用していました。

はyarn-site.xmlで様々な修正した後、私たちはあなたの場合は、以下のプロパティ

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>4096</value> 
</property> 

<property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>2</value> 
</property> 

を設定し実行している私たちのノードマネージャを持って、あなたは仮想コアを確立する必要があるかもしれません。