2017-02-04 3 views

答えて

0
  • spark-env.shは:などSPARK_YARN_USER_ENVSPARK_HOMEなど、すべてのシステム環境変数を設定し、これらの環境変数が正しく動作するために、スパークのインストールのために必要とされます。 spark-env.shが火花-defaults.confに

  • シェルスクリプトファイル:このファイルには、このような spark.local.dirspark.yarn.jarsなど、すべてのスパークのconfigsを設定します。これらの設定は、スパークジョブが正常に動作するために必要です。以下はSparkの文書によるものです。

ビン/火花提出また、各ラインは、キーと空白で区切ら 値で構成された CONF /火花defaults.confに、から構成オプションを読み取ります。たとえば:

spark.master   spark://5.6.7.8:7077 
    spark.executor.memory 4g 
    spark.eventLog.enabled true 
    spark.serializer  org.apache.spark.serializer.KryoSerializer Any values specified as 

フラグまたはプロパティファイルには、アプリケーション に渡さとSparkConfを通じて指定されたものとマージされます。プロパティセット がSparkConfに直接接続されている場合は、 がspark-submitまたはspark-shellに渡され、次に spark-defaults.confファイルのオプションが渡されます。以前のバージョンのSparkからいくつかの設定キーが に変更されました。そのような場合、古いキー名 は引き続き受け入れられますが、より新しいキーの のインスタンスよりも優先順位が低くなります。

+0

Ok私は、すべてのスパークジョブによって利用されなければならないプロパティを設定したいとします。その場合、そのプロパティを設定するためにどのプロパティファイルを使用する必要がありますか? –

+0

これはspark-defaults.confの下に置く必要があります –

関連する問題