スパーククラスタのマスターノードを設定する

Question

私はスパークすることを前もって謝罪しています。スタンドアローンモードでsparkクラスタを4人のワーカーで作成し、ワーカープロパティの設定に成功した後、マスタープロパティの設定方法を知りたいと思っていました。

I（私は火花提出使用して、それを提出する必要はありません。）アプリケーションを作成し、SparkSession.builderを使用してクラスタに接続しています

私は労働者がconf/spark-env.shファイルで設定することができることをことを知っています'SPARK_WORKER_MEMORY'や 'SPARK_WORKER_CORES'などの設定可能なパラメータがあります

私の質問は次のとおりです。マスターのプロパティを設定するにはどうすればよいですか？このファイルには 'SPARK_MASTER_CORES'または 'SPARK_MASTER_MEMORY'が存在しないためです。

spark-defaults.confファイルでこれを設定することを考えましたが、これはspark-submitにのみ使用されているようです。

SparkConf().set("spark.driver.cores", "XX")を使用してアプリケーションで設定することを考えましたが、このアプリケーションで使用するコアの数のみを指定しています。

ご協力いただければ幸いです。

ありがとうございました。

Answer 1

Spark Masterノード（ドライバ）とスパーク・ワーカー・ノードの構成を設定する3つの方法。マスターノードのメモリの設定例を示します。他の設定を見つけることができますhere

1- SpackConfクラスを介してプログラム的に。

例：使用

new SparkConf().set("spark.driver.memory","8g") 

2 - 火花提出：（プログラムにより1のように）あなたのコード内で同じconfiguraitonを設定していないことを確認し、火花を提出しながら。すでにプログラムで設定を構成している場合、（1）と重複するspark-submitに記載されているすべてのジョブ構成は無視されます。

例：

spark-submit --driver-memory 8g 

火花defaults.confにスルー3-： 上記の場合のいずれにおいても、この設定がデフォルトになり設定されています。

例：

spark.driver.memory  8g