Sparkストリーミング依存関係を修正するための助けが必要です（Scala sbt）

Question

IntelliJを使用してマシン上で基本的なスパークストリーミングの例を実行しようとしていますが、依存関係の問題を解決できません。 修正にお手伝いください。

name := "demoSpark" 

version := "1.0" 

scalaVersion := "2.11.8" 

libraryDependencies ++= Seq("org.apache.spark"% "spark-core_2.11"%"2.1.0", 
           "org.apache.spark" % "spark-sql_2.10" % "2.1.0", 
           "org.apache.spark" % "spark-streaming_2.11" % "2.1.0", 
           "org.apache.spark" % "spark-mllib_2.10" % "2.1.0" 
) 

Answer 1

少なくとも、すべての依存関係で同じバージョンのScalaを使用する必要があります。2.10と2.11の組み合わせではありません。 sbtで%%記号を使用すると、適切なバージョンが選択されていることを確認できます（scalaVersionで指定したもの）。

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.1.0", 
"org.apache.spark" %% "spark-sql" % "2.1.0", 
"org.apache.spark" %% "spark-streaming" % "2.1.0", 
"org.apache.spark" %% "spark-mllib" % "2.1.0" 
)