sparkアプリケーションオーバーライドyarn-site.xml設定パラメータ

Question

Sparkアプリケーションを送信するときに、1つのYarn設定パラメータをyarn-site.xmlに上書きする必要があります。 saprk-submitの余分なパラメータとして渡すことはできますか？

私は上書きしたいパラメータが火花提出

--conf "yarn.nodemanager.vmem-check-enabled" 

それとも、またSparkSession.conf.setようなコードを使用してプログラム内で設定することができてジョブをサブミットしながら、あなたが--conf使用することができますyarn.nodemanager.vmem-check-enabled

Answer 1

ですDOC

設定から

Sparkアプリケーション用。さまざまなSpark パラメータをキーと値のペアとして設定するために使用します。

ほとんどの場合、新しい SparkConf（）を使用してSparkConfオブジェクトを作成し、spark。* Javaシステム のプロパティもアプリケーションに設定された値をロードします。この場合、SparkConfオブジェクトに直接設定した のパラメータは、システム のプロパティより優先されます。

ユニットテストでは、 のシステムプロパティに関係なく、新しいSparkConf（false）を呼び出して 外部設定の読み込みをスキップし、同じ設定を取得することもできます。

このクラスのすべてのセッターメソッドは連鎖をサポートしています。たとえば、 は、新しいSparkConf（）。setMaster（ "local"）。setAppName（ "My app"）を書き込むことができます。