1
私はを使って窓でスパークジョブを起動しようとしています。 Sparkアプリケーションは、ログオプションを指定せずに正常に動作します。次--driver-java-options
でWindowsのspark-submitにlog4j設定ファイルを渡すには?
:
システム指定されたパスを見つけることができません:
--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties"
は、私はエラーメッセージが表示されます。
私は多くの組み合わせを試しましたが、運がないと助言してください。以下
spark-submit --master local[*] --files D:\launch\log4j-spark.properties --jars D:\launch\spark-sql-kafka-0-10_2.10-2.1.0.jar \
--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties" \
--class com.acheron.bi.pipeline.DataPipelineProcessor D:\launch\bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar
--driver-java-options "-Dlog4j.configuration=file://./launch/log4j-spark.properties" \
--driver-java-options "-Dlog4j.configuration=log4j-spark.properties" \
私は窓にcmd
を実行し、正常に次のコマンドを使用して、私のカスタムmy-log4j.properties
でスパークアプリケーションを起動することができる午前コード
D:\launch>dir
Volume in drive D is Data
Volume Serial Number is 52DE-C096
Directory of D:\launch
10/20/2017 10:06 AM <DIR> .
10/20/2017 10:06 AM <DIR> ..
10/20/2017 09:46 AM 111,631,778 bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar
10/20/2017 09:35 AM 1,394 event-win.yml
10/20/2017 09:58 AM 483 log4j-spark.properties
10/19/2017 01:19 PM 488 prod.env.properties
09/07/2017 09:35 AM 232,649 spark-sql-kafka-0-10_2.10-2.1.0.jar
5 File(s) 111,866,792 bytes
2 Dir(s) 152,071,843,840 bytes free
はあなたに、cmdを使用してパスを表示することができますか? 'dir'を使います。これは、ファイルが存在することを確認するためです(私はmacOS上にあるので、フォーマットを推測します)。あなたは 'file:/ D:/ launch/log4j-spark.properties'を試すことができますか? –
ディレクトリの詳細で質問を更新し、ファイル:/ D:/launch/log4j-spark.propertiesが役に立たなかった – Manjesh
'spark-submit'でエラーメッセージ全体を表示できますか? –