Spark Job Server上でScalaランタイムエラーが発生しました。

プロジェクトをコンパイルするためにspark 1.6.2とScala 11.8を使用しました。生成された依存関係を持つuber jarは、Spark Job Server（Scala 10.4（.shファイルで指定されたSCALA_VERSION = 2.10.4）を使用しているようです）に配置されます。Spark Job Server上でScalaランタイムエラーが発生しました。

コンテキスト/アプリケーションjarをアップロードしても問題ありません。しかし、実行時に、次のエラーがソースをコンパイルするためにScalaの10を使用する方法について

java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaUniverse$JavaMirror

Why do Scala 2.11 and Spark with scallop lead to "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror"?会談を発生する。それは本当ですか？

任意の提案をしてください...

出典

2016-10-03 user1384205

"それは本当ですか？"うん –

使用のScala 2.10.4へあなたのprojをコンパイルするect。それ以外の場合は、11で火花をコンパイルする必要があります。

出典

2016-10-03 12:06:47 noorul

それは確かに動作します。ありがとう。なぜ説明できますか？ほとんどの人には、11を使用することに同意するようです* – user1384205

あなたはまた、スカラを使用してコンパイルする必要があります11 – noorul

ok。私はmavenプロジェクトを実行してsparkの依存関係をダウンロードし、プロジェクトをmaven依存関係とともにコンパイルします。この時点で、SJS jarもmavenリポジトリに追加されます。今、スカラーコンパイラのバージョンを10から11に変更すれば十分でしょうか？それは正確に私がやっていたことです。何か不足していますか？ – user1384205

Spark Job Server上でScalaランタイムエラーが発生しました。

答えて

関連する問題