org.spark_project.guava.util.concurrent.ExecutionError：このexempleコードでNoClassDefFoundErrorが未確認のCompileException

Question

実行が〜.RDD（に到着したとき、私はこの例外を持っている）コール：

enter code here 
JavaRDD<String,String> row = sparkSession.read() 
            .textFile("~~~") 
            .javaRDD() <--------- (Execution Error) 
           .map(some Function); 

根本的な原因：

org.spark_project.guava.util.concurrent.ExecutionError: NoClassdefFoundError org/codehaus/commons/compiler/UncheckedCompileException

私は私のpom.xmリットルでスパークのすべての依存関係を持って、私は複数のバージョンの2.10 & 2.11を試してみましたが、私は任意のヘルプを同じ例外をしてくださいました

Answer 1

ソリューションは、このようなものです：

`<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artefactId>spark-sql_2.11</artefactId> 
    <version>2.1.1</version> 
    <exlusions> 
    <exlusion> 
    <groupId>org.codehaus.janino</groupId> 
    <artefactId>janino</artefactId> 
    </exlusion> 
    <exlusion> 
    <groupId>org.codehaus.janino</groupId> 
    <artefactId>commons-compiler</artefactId> 
    </exlusion> 
    </exlusions> 
</depenedency> 
<dependency> 
    <groupId>org.codehaus.janino</groupId> 
    <artefactId>commons-compiler</artefactId> 
    <version>3.07</version> 
</dependency> 
<dependency> 
    <groupId>org.codehaus.janino</groupId> 
    <artefactId>janino</artefactId> 
    <version>3.07</version> 
</dependency>` 

しかし、それはいけない仕事caus、プロジェクトにjaninoを管理するためにdependencyManagementを使用してはいけません。解決策は、このようにjanino-2.x.jarが含まれていないようなEXLUSIONS、=>を使用することです。