次のSBTファイルがあります。私はApache GraphFrameを使用してScalaコードをコンパイルしており、CSVファイルも読み込んでいます。私はSBTを使ってJARファイルを作成しようとすると、ここでApache-SparkグラフフレームのSBT
name := "Simple"
version := "1.0"
scalaVersion := "2.10.5"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "1.6.1",
"graphframes" % "graphframes" % "0.2.0-spark1.6-s_2.10",
"org.apache.spark" %% "spark-sql" % "1.0.0",
"com.databricks" % "spark-csv" % "1.0.3"
)
はScalaの
import org.graphframes._
import org.apache.spark.sql.DataFrame
val nodesList = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("/Users/Desktop/GraphFrame/NodesList.csv")
val edgesList= sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("/Users/Desktop/GraphFrame/EdgesList.csv")
val v=nodesList.toDF("id", "name")
val e=edgesList.toDF("src", "dst", "dist")
val g = GraphFrame(v, e)
でマイコードで、それは
[trace] Stack trace suppressed: run last *:update for the full output.
[error] (*:update) sbt.ResolveException: unresolved dependency: graphframes#graphframes;0.2.0-spark1.6-s_2.10: not found
[error] Total time:
上記のコードはうまくいきましたが、 "import org.apache.spark.sql.DataFrame"の同じ問題が発生しました。 エラー "未解決の依存関係:org.apache.spark#spark-sql_2.10_2.10; 1.0。 0:見つからない "@T。 Gawęda – Aroon
@Aroonあなたは奇妙なSpark SQLバージョン(1.0.0)を持っていますが、Spark Coreは1.6.1です。 SparkのSQLバージョンも1.6.1に変更してください –
@AroonはScalaのバージョンを2倍にして、それを '' org.apache.spark ''に変更したことを示唆しています%% "spark-sql_2.10"% "1.0.0" 、 '。 %%を使用するか、Scalaのバージョンを追加してください。 %1 "、" org.apache.spark "%" spark-sql_2.10 "%" 1.6.1 "、" or " –