Javaを使用したスパーク1.6.2

Question

を使用してコンソールからデバッグログを削除し、私が使用して基本的なスパークアプリを起動します。

SparkConf conf = new SparkConf().setAppName("myApp").setMaster("local"); 
    JavaSparkContext javaSparkContext = new JavaSparkContext(conf); 
    javaSparkContext.setLogLevel("INFO"); 
    SQLContext sqlContext = new SQLContext(javaSparkContext); 

私はsetLogLevelを追加して、システムを少し少ないverbosyを持ってしようとするが、それはしませんそれを取る。私はまだ多くのデバッグ情報を持っています。

理想的には、私はエラーを除くすべてのorg.apache.spark.*を遮断したいと思います...

更新＃1：

ここでは私のpom.xmlです：

<dependencies> 
    <dependency> 
     <groupId>mysql</groupId> 
     <artifactId>mysql-connector-java</artifactId> 
     <version>5.1.6</version> 
    </dependency> 
    <dependency> 
     <groupId>org.hibernate</groupId> 
     <artifactId>hibernate-core</artifactId> 
     <version>5.2.0.Final</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.6.2</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-sql_2.10</artifactId> 
     <version>1.6.2</version> 
     <scope>provided</scope> 
    </dependency> 
    <dependency> 
     <groupId>com.databricks</groupId> 
     <artifactId>spark-csv_2.10</artifactId> 
     <version>1.4.0</version> 
    </dependency> 
</dependencies> 

Answer 1

ありファイルconf/log4j.properties.templateをコピーし、ロギングの必要性に応じて変更してください。

cd spark/conf 
cp log4j.properties.template log4j.properties 

log4j.logger.org.apache.spark=ERROR 

を動作するはずです、それは、スタンドアロンの火花を実行し、MavenのJavaプロジェクトである場合は、[編集]

log4j.propertiesに行を追加します。テストケースの場合は、log4j.propertiesをsrc/main/resourcesにコピーするか、src/test/resourcesにコピーしてください。それに応じて修正してください。