2016-12-12 6 views
1

次のSBTファイルがあります。私はApache GraphFrameを使用してScalaコードをコンパイルしており、CSVファイルも読み込んでいます。私はSBTを使ってJARファイルを作成しようとすると、ここでApache-SparkグラフフレームのSBT

name := "Simple" 

version := "1.0" 

scalaVersion := "2.10.5" 

libraryDependencies ++= Seq(

"org.apache.spark" %% "spark-core" % "1.6.1", 

"graphframes" % "graphframes" % "0.2.0-spark1.6-s_2.10", 

"org.apache.spark" %% "spark-sql" % "1.0.0", 

"com.databricks" % "spark-csv" % "1.0.3" 
) 

はScalaの

import org.graphframes._ 
import org.apache.spark.sql.DataFrame 
    val nodesList = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("/Users/Desktop/GraphFrame/NodesList.csv") 
    val edgesList= sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("/Users/Desktop/GraphFrame/EdgesList.csv") 
    val v=nodesList.toDF("id", "name") 
    val e=edgesList.toDF("src", "dst", "dist") 
    val g = GraphFrame(v, e) 

でマイコードで、それは

[trace] Stack trace suppressed: run last *:update for the full output. 
[error] (*:update) sbt.ResolveException: unresolved dependency: graphframes#graphframes;0.2.0-spark1.6-s_2.10: not found 
[error] Total time: 

答えて

3

GraphFramesのコンパイル時にエラーを以下に私を与えるMavenのではありません中央リポジトリはまだありません。

次のことが可能です。

Spark Packagesページの
  1. ダウンロードアーティファクトとあなたのSBT build.sbtSpark Packages repositoryを追加し、ローカルリポジトリへ
  2. をインストール:

コードbuild.sbtで:

resolvers += Resolver.url("SparkPackages", url("https://dl.bintray.com/spark-packages/maven/")) 
+0

上記のコードはうまくいきましたが、 "import org.apache.spark.sql.DataFrame"の同じ問題が発生しました。 エラー "未解決の依存関係:org.apache.spark#spark-sql_2.10_2.10; 1.0。 0:見つからない "@T。 Gawęda – Aroon

+0

@Aroonあなたは奇妙なSpark SQLバージョン(1.0.0)を持っていますが、Spark Coreは1.6.1です。 SparkのSQLバージョンも1.6.1に変更してください –

+0

@AroonはScalaのバージョンを2倍にして、それを '' org.apache.spark ''に変更したことを示唆しています%% "spark-sql_2.10"% "1.0.0" 、 '。 %%を使用するか、Scalaのバージョンを追加してください。 %1 "、" org.apache.spark "%" spark-sql_2.10 "%" 1.6.1 "、" or " –

2

私はそれをworki得ることができたproject/plugins.sbtsbt-spark-package

を使用してngが、私が追加:

resolvers += "bintray-spark-packages" at "https://dl.bintray.com/spark-packages/maven/" 

addSbtPlugin("org.spark-packages" % "sbt-spark-package" % "0.2.5") 

その後、build.sbtに私が追加:

spDependencies += "graphframes/graphframes:0.5.0-spark2.1-s_2.11" 

そして、それは働きました。

希望します。

関連する問題