PySparkでINFOログを無効にする

Question

log4j.propertiesファイルを編集してlog4j.rootCategory=INFO, consoleに設定しましたが、ログはspark-shellで停止しましたが、pysparkでは黙っています。

以下のコードはpysparkで私のために働いています。しかし、私はpysparkコンソールを開くたびに設定する必要があります。

logger = sc._jvm.org.apache.log4j 
logger.LogManager.getLogger("org").setLevel(logger.Level.OFF) 
logger.LogManager.getLogger("akka").setLevel(logger.Level.OFF) 

私はこの問題の恒久的な修正を探していると火花シェルがないときにのみpysparkは、デフォルトのプロパティを拾っているかを理解したいんです。 thisスレッドをチェックしましたが、解決策が見つかりませんでした。

Answer 1

これが私の仕事：

sc.setLogLevel("OFF") 

を使用すると、スパークコンテキストオブジェクトを使用してログレベルOFFを設定する必要があることを意味します。