は、我々は5ノードクラスタ糸によって管理され、実行中のHadoop糸:糸はより多くのメモリを利用作り、
1マスターネームノード8 vcoresと24ギガバイトのメモリを持っているvcoresする方法
4のデータは、それぞれ8 vcoresノードと24ギガバイトのメモリ
私はその下の絵で強調されているようにUI上糸の構成を見てのみ16ギガバイトと6 vcores
を使用しています私たちのアプリケーションは16GBのすべてを使用していますので、使用可能なメモリが24GBであるため、メモリを増やしたい場合は
ここで16GBの代わりに22GBを設定する必要がありますか?研究から
は、糸-site.xmlには、場所はとても先に行って、それを更新し、再起動糸が、それでもそのコミュニティの専門家のいずれかが、私たちのように役立つ場合感謝をgrealtyだろ
16ギガバイトを示すかもしれない発見しましたこれはあなたの理解が完全に間違っている糸-site.xmlの
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdfs-name-node</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>21528</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>6</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>21528</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>500</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>512</value>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>0.0.0.0:8039</value>
</property>
</configuration>
Wayne私たちの理解が間違っているかもしれないかもしれません.......私は** yarn-site.xml **で質問を更新しました**それを見て、助けてください私たちはよく理解しています...キューを使用していません。このクラスタはこのジョブ専用クラスタです。各ノードに** 22GB **があれば、クラスタのメモリ容量は4 * 22 = ** 88GB **なぜ糸が4 * 16GB = 64GBを表示しているのか分かりませんか? – user2359997