2017-10-22 16 views
0

私はscala sparkアプリケーションにGraphFrameを追加しようとしていますが、2.10に基づいてGraphFrameを追加するとうまくいきました。しかし、GraphFramesをscala 2.11でビルドしてビルドしようとすると、すぐに破損します。GraphFramesをscala 2.11で追加するとBuild.sbtが壊れる

問題は、使用されるスカラーのバージョンが競合していることです(2.10および2.11)。これは私の完全なbuild.sbtです..私はこれの原因をトラブルシューティングすることはできません、しかし

[error] Modules were resolved with conflicting cross-version suffixes in {file:/E:/Documents/School/LSDE/hadoopcryptoledger/examples/scala-spark-graphx-bitcointransaction/}root: 
[error] org.apache.spark:spark-launcher _2.10, _2.11 
[error] org.json4s:json4s-ast _2.10, _2.11 
[error] org.apache.spark:spark-network-shuffle _2.10, _2.11 
[error] com.twitter:chill _2.10, _2.11 
[error] org.json4s:json4s-jackson _2.10, _2.11 
[error] com.fasterxml.jackson.module:jackson-module-scala _2.10, _2.11 
[error] org.json4s:json4s-core _2.10, _2.11 
[error] org.apache.spark:spark-unsafe _2.10, _2.11 
[error] org.apache.spark:spark-core _2.10, _2.11 
[error] org.apache.spark:spark-network-common _2.10, _2.11 

:私は次のエラーを取得しています

import sbt._ 
import Keys._ 
import scala._ 


lazy val root = (project in file(".")) 
.settings(
    name := "example-hcl-spark-scala-graphx-bitcointransaction", 
    version := "0.1" 
) 
.configs(IntegrationTest) 
    .settings(Defaults.itSettings : _*) 

scalacOptions += "-target:jvm-1.7" 

crossScalaVersions := Seq("2.11.8") 

resolvers += Resolver.mavenLocal 

fork := true 

jacoco.settings 

itJacoco.settings 



assemblyJarName in assembly := "example-hcl-spark-scala-graphx-bitcointransaction.jar" 

libraryDependencies += "com.github.zuinnote" % "hadoopcryptoledger-fileformat" % "1.0.7" % "compile" 

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.0" % "provided" 

libraryDependencies += "org.apache.spark" %% "spark-graphx" % "1.5.0" % "provided" 

libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.7.0" % "provided" 

libraryDependencies += "javax.servlet" % "javax.servlet-api" % "3.0.1" % "it" 


libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "2.7.0" % "it" classifier "" classifier "tests" 

libraryDependencies += "org.apache.hadoop" % "hadoop-hdfs" % "2.7.0" % "it" classifier "" classifier "tests" 

libraryDependencies += "org.apache.hadoop" % "hadoop-minicluster" % "2.7.0" % "it" 

libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.2.0" % "provided" 

libraryDependencies += "org.scalatest" %% "scalatest" % "3.0.1" % "test,it" 

libraryDependencies += "graphframes" % "graphframes" % "0.5.0-spark2.1-s_2.11" 

誰でも上のベースとなっている依存関係特定することができますスカラ2.10でビルドが失敗するのはなぜですか?

答えて

0

私はこの問題が何かを知りました。明らかに、あなたが使用する場合:

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.0" % "provided" 

デフォルトでは2.10バージョンが使用されます。古いSBTを使用している場合、デフォルトScalaのバージョンは次のようになりので、あなたは `crossScalaVersions`セットではなく、` scalaVersion`を持っていた

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.2.0" 

libraryDependencies += "org.apache.spark" % "spark-graphx_2.11" % "2.2.0" % "provided" 
+0

:それはすべて私がスパークコアとスパークgraphxの依存関係を変更し、一度働いていました2.10 – laughedelic

関連する問題