互換性のないバージョン

Question

に対してsbtのMainクラスを実行しようとすると、Spark MLLib例外LDA.classがコンパイルされましたが、このエラーが発生します。私は何が欠けていますか？

Error:scalac: missing or invalid dependency detected while loading class file 'LDA.class'. 
Could not access type Logging in package org.apache.spark, 
because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.) 
A full rebuild may help if 'LDA.class' was compiled against an incompatible version of org.apache.spark. 

私build.sbtは、次のようになります。

"org.apache.spark"   %% "spark-core"  % "2.0.1"  % Provided, 
"org.apache.spark"   % "spark-mllib_2.11" % "1.3.0" 

Answer 1

あなたは新しいスパークコア上の古いsparkMllibを実行しようとしています。つまり、mllibとspark coreのバージョンはまったく異なります。

は、これを使用してみてください：

"org.apache.spark"   %% "spark-core_2.11"  % "2.0.1", 
"org.apache.spark"   %% "spark-mllib_2.11" % "2.0.1" 

・タントはあなたの問題を解決する可能性があります！