スパークストリーミングでのデフォルト出力の停止

Question

Spark streamingに示されているデフォルト出力を無効にする方法はありますか？スパークストリーミングアプリケーションを実行しているときに出力されるデフォルトの出力は次のとおりです。私は、私だけで追加されます（ドライバ内）のログメッセージを見たいのですが印刷されます

spark-submit --class a11_TCP_IP.a11_Basic.a11_HelloTcp target/scala-2.10/sparkstreamingexamples_2.10-1.0.jar 

16/04/27 13:20:15 WARN ReceiverSupervisorImpl: Restarting receiver with delay 2000 ms: Socket data stream had no more data 
16/04/27 13:20:15 ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Socket data stream had no more data 
16/04/27 13:20:17 WARN ReceiverSupervisorImpl: Restarting receiver with delay 2000 ms: Socket data stream had no more data 
16/04/27 13:20:17 ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Socket data stream had no more data 
------------------------------------------- 
Time: 1461777618000 ms 
------------------------------------------- 

16/04/27 13:20:19 WARN ReceiverSupervisorImpl: Restarting receiver with delay 2000 ms: Socket data stream had no more data 
16/04/27 13:20:19 ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Socket data stream had no more data 
------------------------------------------- 
Time: 1461777621000 ms 
------------------------------------------- 

16/04/27 13:20:21 WARN ReceiverSupervisorImpl: Restarting receiver with delay 2000 ms: Socket data stream had no more data 

Answer 1

あなたのスパークフォルダはconf/ディレクトリを持つ必要があります。その中にはlog4j.propertiesというファイルがあります。そうでない場合はconf/log4j.properties.templateをconf/log4j.propertiesにコピーしてください。これら二つで

log4j.rootCategory=INFO, console 

：

エディタで conf/log4j.properties今オープン

、この行を置き換え

log4j.rootCategory=INFO, null 
log4j.appender.null=org.apache.log4j.varia.NullAppender