我々はスパークでの2つの設定ファイルsparkに2つの異なるconfファイルが必要なのはなぜですか?
- 火花-defaults.confに
- spark-env.sh
を持ってこれらの2つのファイルの違いは何ですか? 同じスパークアプリケーションの両方で使用できますか?
我々はスパークでの2つの設定ファイルsparkに2つの異なるconfファイルが必要なのはなぜですか?
を持ってこれらの2つのファイルの違いは何ですか? 同じスパークアプリケーションの両方で使用できますか?
spark-env.shは:などSPARK_YARN_USER_ENV
SPARK_HOME
など、すべてのシステム環境変数を設定し、これらの環境変数が正しく動作するために、スパークのインストールのために必要とされます。 spark-env.shが火花-defaults.confに
シェルスクリプトファイル:このファイルには、このような
spark.local.dir
、spark.yarn.jars
など、すべてのスパークのconfigsを設定します。これらの設定は、スパークジョブが正常に動作するために必要です。以下はSparkの文書によるものです。 ビン/火花提出また、各ラインは、キーと空白で区切ら 値で構成された CONF /火花defaults.confに、から構成オプションを読み取ります。たとえば:
spark.master spark://5.6.7.8:7077 spark.executor.memory 4g spark.eventLog.enabled true spark.serializer org.apache.spark.serializer.KryoSerializer Any values specified as
フラグまたはプロパティファイルには、アプリケーション に渡さとSparkConfを通じて指定されたものとマージされます。プロパティセット がSparkConfに直接接続されている場合は、 がspark-submitまたはspark-shellに渡され、次に spark-defaults.confファイルのオプションが渡されます。以前のバージョンのSparkからいくつかの設定キーが に変更されました。そのような場合、古いキー名 は引き続き受け入れられますが、より新しいキーの のインスタンスよりも優先順位が低くなります。
Ok私は、すべてのスパークジョブによって利用されなければならないプロパティを設定したいとします。その場合、そのプロパティを設定するためにどのプロパティファイルを使用する必要がありますか? –
これはspark-defaults.confの下に置く必要があります –