スパークワーカーとエグゼクティブコア

Question

私はSpark ClusterをHDFSの上にYARNモードで実行しています。私は2つのコアと2gのメモリを持つ1人のワーカーを立ち上げました。その後、私は3コアで1人のエグゼキュータの動的構成で仕事を提出しました。それでも、私の仕事は動くことができます。作業者が起動されたコアの数とエグゼキュータのために要求されたコアの数の違いを説明することができます。エグゼクティブが労働者の中で働いているので、労働者が利用できるものよりも多くの資源を得ることができないので、私の理解はありました。

Answer 1

yarn-site.xmlのパラメータyarn.nodemanager.resource.cpu-vcoresを確認します。

yarn.nodemanager.resource.cpu-vcoresは、各ノードのコンテナで使用されるコアの最大合計を制御します。

Answer 2

- > Sparkはワーカーノード内でn個のエグゼキュータを起動します。 - > Sparkは、sparkクラスタへのアプリケーション提出時にエグゼキュータを起動するためのコア数とexecutor-memoryパラメータを使用します。 - >スパーク・サブミットでは、ワーカー・ノードのコア数を指定することはできません。