2017-08-03 11 views
2

Apache SparkをIntelliJで動作させようとしています。私はIntelliJの中SBTプロジェクトを作成し、以下のことを行っている: 1.ファイルへのゴーン - >プロジェクト構造 - >ライブラリ 2.中央のセクションに「+」をクリックしたMavenをクリックし、Mavenのリポジトリからダウンロードするライブラリをクリックし、入力されましたテキスト 'spark-core'とorg.apache.spark:spark-core_2.11:Sparkの最新バージョンである2.2.0を利用可能 プロジェクトフォルダの./libにjarファイルとソースコードをダウンロードしました 3.ライブラリのリストにSparkライブラリが表示されています 4. org.apache.spark:spark-core_2.11:2.2.0を右クリックし、Add to Projectをクリックしてモジュールに追加します 左側のModulesをクリックし、メインプロジェクトフォルダを開き、右側のDependenciesタブをクリックします。外部ライブラリをMavenライブラリとして見ることができますが、Applyをクリックした後、プロジェクトとrを再構築しますIntelliJを起動すると、プロジェクトの外部ライブラリとして表示されません。したがって、Spark APIコマンドにアクセスすることはできません。 私は何を間違えていますか?私はIntelliJと他の百のソースですべてのドキュメントを見てきましたが、答えを見つけることができません。IntelliJでApache Sparkを動作させようとしています

はまた、私はまた、次のbuild.SBTファイル内のテキストだけでなく、外部ライブラリの依存関係としてApacheスパークの指定を含める必要がありますか?私は、build.SBTファイルにコードをインクルードするか、または外部依存関係としてSparkを手動で追加する必要があると仮定しますが、両方ではありません。 sbt.ResolveException:未解決の依存関係:org.apache.spark番号火花core_2.12; 2.2.0:私はエラーを取得する

name := "Spark_example" 

version := "1.0" 

scalaVersion := "2.12.3" 

val sparkVersion = "2.0.0" 

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % sparkVersion, 
    "org.apache.spark" %% "spark-streaming" % sparkVersion, 
    "org.apache.spark" %% "spark-sql" % sparkVersion 
) 

: 私は私のbuild.SBTファイルでこのコードを含ま

見つかりません

助けてください!ありがとう

+0

' scalaVersionにScalaのバージョンを設定します。 – mrsrinivas

+0

ありがとうございます、しかし、Spark v2.0.0との非互換性に関するいくつかの警告が表示されますので、代わりに2.2.0を試してみましたが、そのうちのいくつかを扱うようですが、すべてではありません – LucieCBurgess

+0

依存関係管理ツール(SBT、 Maven、Gradle)を使用してスコープ(コンパイル/テスト/提供など)を持つ外部jarを追加します。 – mrsrinivas

答えて

4

SparkにはScalaバージョン2.12.x用のビルドがありません。 = "2.11.8" `動作するはずです:だから2.11.x

scalaVersion := "2.11.8" 

val sparkVersion = "2.0.0" 

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % sparkVersion, 
    "org.apache.spark" %% "spark-streaming" % sparkVersion, 
    "org.apache.spark" %% "spark-sql" % sparkVersion 
) 
関連する問題