spark-submitするログパス設定を定義するには？私は次のように​​にログ・パスを渡すためにしようとしています

Question

：

spark-submit \ 
    --master local[*] \ 
    --conf -Dlogback.configurationFile=C:\Users\A661758\Desktop\logback.xml \ 
    target\scala-2.11\dataintegrationRepriseExistant-assembly-0.1.0-SNAPSHOT.jar \ 
    C:\Users\A661758\Desktop\Atos_Integration_Donnees_V0.1_2017\AC_LIMOGES_JSON SourceAcLimoges 20170526 L AC-LIMOGES 

出力：

警告：非スパーク設定プロパティを無視： は-Dlogback.configurationFile = C：\ユーザー をs \ A661758 \ Desktop \ logback.xml log4j：WARNロガー（dataIntegrationENTLea.Main $）のアペンダーは見つかりませんでした。

Answer 1

スパークは当然--confに渡される引数は、スパーク設定キーである必要があることを言っています。あなたが探しているのはspark.driver.extraJavaOptionsとspark.executor.extraJavaOptions次のとおりです。

spark-submit \ 
--master local[*] \ 
--conf "spark.driver.extraJavaOptions=-Dlogback.configurationFile=C:\Users\A661758\Desktop\logback.xml" \ 
C:\Users\A661758\dataIntegrationLea\target\scala-2.11\dataintegrationRepriseExistant-assembly-0.1.0-SNAPSHOT.jarC:\Users\A661758\Desktop\Atos_Integration_Donnees_V0.1_2017\AC_LIMOGES_JSON SourceAcLimoges 20170526 L AC-LIMOGES 

あなたは、彼らがそれぞれのマシン上で異なる場合がありますように、それに応じてドライバとエグゼキュータの場所の両方を設定する必要があります。スパークの設定値の詳細については

、それは（それが再びドライバーの）ドライバと、単一のエグゼキュータのための単一のJVMを設定するには遅すぎだとしてそれはlocal[*]のために動作しませんAdd jars to a Spark Job - spark-submit

Answer 2

を参照してください。

spark.driver.extraJavaOptionsドライバーに渡す追加のJVMオプションの文字列：Runtime Environmentに記載されているようなパラメータを設定することspark.driver.extraJavaOptionsかspark.executor.extraJavaOptions経由であることは言うまでもありません

--master local[*] --conf -Dlogback.configurationFile=C:\Users\A661758\Desktop\logback.xml 

。たとえば、GC設定やその他のログ。

spark.executor.extraJavaOptionsエグゼキュータに渡す余分なJVMオプションの文字列。たとえば、GC設定やその他のログ。あなたはドキュメントを読んだとき、あなたは以下の（ハイライト表示鉱山）を見つける必要があります

：

注：クライアントモードでは、この設定があるため、アプリケーション内で直接SparkConfを介して設定してはいけませんドライバJVMは既にその時点で起動しています。 代わりに--driver-java-optionsコマンドラインオプションまたはデフォルトプロパティファイルで設定してください。

あなたがspark-submit --helpを実行すると次の表示されるはずです。ドライバーに渡す

--driver-java-optionsのエクストラJavaオプションを。

使用--driver-java-optionsとして、以下：

./bin/spark-shell --driver-java-options -Daaa=bbb 

とオプションが設定されている場合、ウェブUIの環境タブをチェックアウトします。