Hortonworks shc未解決の依存関係

Question

hbase hortonworksコネクタを使用したいと思います。 github guide

しかし、私は私のプロジェクトでそれをインポートする方法がわかりません。 私は、次のbuild.sbtがあります

name := "project" 

version := "1.0" 

scalaVersion := "2.11.8" 

libraryDependencies ++= Seq(
    "org.apache.spark" % "spark-core_2.11" % "2.2.0", 
    "org.apache.spark" % "spark-sql_2.11" % "2.2.0", 
    "org.scala-lang" % "scala-compiler" % "2.11.8", 
    "com.hortonworks" % "shc" % "1.1.2-2.1-s_2.11-SNAPSHOT" 
) 

をそして、それはfollwing未解決の依存関係を私に与える：

Error:Error while importing SBT project:
...
[warn] ==== local: tried [warn] ivy.xml [warn] ==== public: tried [warn]
https://repo1.maven.org/maven2/com/hortonworks/shc/1.1.2-2.1-s_2.11-SNAPSHOT/shc-1.1.2-2.1-s_2.11-SNAPSHOT.pom [info] Resolving jline#jline;2.12.1 ... [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] ::
UNRESOLVED DEPENDENCIES :: [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] :: com.hortonworks#shc;1.1.2-2.1-s_2.11-SNAPSHOT: not found [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] [warn] Note: Unresolved dependencies path: [warn] com.hortonworks:shc:1.1.2-2.1-s_2.11-SNAPSHOT (build.sbt#L8-14) [warn] +- default:project_2.11:1.0 [trace] Stack trace suppressed: run 'last *:ssExtractDependencies' for the full output. [trace] Stack trace suppressed: run 'last :update' for the full output. [error] (:ssExtractDependencies) sbt.ResolveException: unresolved dependency: com.hortonworks#shc;1.1.2-2.1-s_2.11-SNAPSHOT: not found [error] (*:update) sbt.ResolveException: unresolved dependency: com.hortonworks#shc;1.1.2-2.1-s_2.11-SNAPSHOT: not found [error] Total time: 7 s, completed 3 août 2017 11:36:37

Answer 1

私の推薦は、スパークの最も最新バージョンで行くことはない、すべての最新バージョン理由修正するバグがいくつかあります。 2.2.0の代わりに2.1.2 sparkを使い、mavenリポジトリにアクセスしてみてください。link

ここでは、sparkに関するすべての関連する依存関係が得られます。

Answer 2

解決策では、リポジトリを表すresolvers行を追加する必要があります。

scalaVersion := "2.11.12" 

val sparkVersion = "2.1.0" 

resolvers += "Hortonworks Repository" at "http://repo.hortonworks.com/content/repositories/releases/" 

libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion 
libraryDependencies += "org.apache.spark" %% "spark-sql" % sparkVersion 

libraryDependencies ++= Seq(
    "com.hortonworks" % "shc-core" % "1.1.1-2.1-s_2.11" 
)