sparkに2つの異なるconfファイルが必要なのはなぜですか？

Question

我々はスパークでの2つの設定ファイル

1. 火花-defaults.confに
2. spark-env.sh

を持ってこれらの2つのファイルの違いは何ですか？ 同じスパークアプリケーションの両方で使用できますか？

Answer 1

• spark-env.shは：などSPARK_YARN_USER_ENVSPARK_HOMEなど、すべてのシステム環境変数を設定し、これらの環境変数が正しく動作するために、スパークのインストールのために必要とされます。 spark-env.shが火花-defaults.confに

• シェルスクリプトファイル：このファイルには、このような spark.local.dir、spark.yarn.jarsなど、すべてのスパークのconfigsを設定します。これらの設定は、スパークジョブが正常に動作するために必要です。以下はSparkの文書によるものです。

ビン/火花提出また、各ラインは、キーと空白で区切ら 値で構成された CONF /火花defaults.confに、から構成オプションを読み取ります。たとえば：

spark.master   spark://5.6.7.8:7077 
    spark.executor.memory 4g 
    spark.eventLog.enabled true 
    spark.serializer  org.apache.spark.serializer.KryoSerializer Any values specified as 

フラグまたはプロパティファイルには、アプリケーション に渡さとSparkConfを通じて指定されたものとマージされます。プロパティセット がSparkConfに直接接続されている場合は、 がspark-submitまたはspark-shellに渡され、次に spark-defaults.confファイルのオプションが渡されます。以前のバージョンのSparkからいくつかの設定キーが に変更されました。そのような場合、古いキー名 は引き続き受け入れられますが、より新しいキーの のインスタンスよりも優先順位が低くなります。