apache spark clientドライバプログラムのロギングを無効にするか最小限にするには？ドライバプログラムでは、私はスパークコンテキストを初期化するプログラムを意味します。それは多くのINFOメッセージを生成しますが、Nullpointer例外などのエラーや例外があるときだけ知りたいと思います。 私もスパークスタンドアロンモードを使用していますapache spark clientドライバプログラムのロギングを無効にするか最小限にするには？
Apache Sparkはlog4jを使用しています。 confに/ log4j.propertiesで、ご希望のログレベルで次の行（複数可）を変更します。
log4j.rootCategory=WARN, console
log4j.logger.org.apache.spark.repl.Main=WARN
あなたがここでより多くの情報を見つけることができます：http://spark.apache.org/docs/latest/configuration.html#configuring-logging
javaSparkContext.setLogLevel("ERROR");
を彼らの両方がすでにWARNに設定されているとドライバプログラムは依然としてINFOメッセージを生成します。 – user1870400
あなたが糸で走っているなら、おそらく "--files path/to/log4j.properties"オプションを使ってsubmitと一緒にlog4j.propertiesファイルを明示的に渡すことができます。 –
私はスタンドアロンモードを使用しています。コマンドラインを使用してジョブをサブミットしません。私は私のドライバプログラムのpublic static void main（）を呼び出すだけです – user1870400