Apache SparkをIntelliJで動作させようとしています。私はIntelliJの中SBTプロジェクトを作成し、以下のことを行っている: 1.ファイルへのゴーン - >プロジェクト構造 - >ライブラリ 2.中央のセクションに「+」をクリックしたMavenをクリックし、Mavenのリポジトリからダウンロードするライブラリをクリックし、入力されましたテキスト 'spark-core'とorg.apache.spark:spark-core_2.11:Sparkの最新バージョンである2.2.0を利用可能 プロジェクトフォルダの./libにjarファイルとソースコードをダウンロードしました 3.ライブラリのリストにSparkライブラリが表示されています 4. org.apache.spark:spark-core_2.11:2.2.0を右クリックし、Add to Projectをクリックしてモジュールに追加します 左側のModulesをクリックし、メインプロジェクトフォルダを開き、右側のDependenciesタブをクリックします。外部ライブラリをMavenライブラリとして見ることができますが、Applyをクリックした後、プロジェクトとrを再構築しますIntelliJを起動すると、プロジェクトの外部ライブラリとして表示されません。したがって、Spark APIコマンドにアクセスすることはできません。 私は何を間違えていますか?私はIntelliJと他の百のソースですべてのドキュメントを見てきましたが、答えを見つけることができません。IntelliJでApache Sparkを動作させようとしています
はまた、私はまた、次のbuild.SBTファイル内のテキストだけでなく、外部ライブラリの依存関係としてApacheスパークの指定を含める必要がありますか?私は、build.SBTファイルにコードをインクルードするか、または外部依存関係としてSparkを手動で追加する必要があると仮定しますが、両方ではありません。 sbt.ResolveException:未解決の依存関係:org.apache.spark番号火花core_2.12; 2.2.0:私はエラーを取得する
name := "Spark_example"
version := "1.0"
scalaVersion := "2.12.3"
val sparkVersion = "2.0.0"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVersion,
"org.apache.spark" %% "spark-streaming" % sparkVersion,
"org.apache.spark" %% "spark-sql" % sparkVersion
)
: 私は私のbuild.SBTファイルでこのコードを含ま
見つかりません助けてください!ありがとう
' scalaVersionにScalaのバージョンを設定します。 – mrsrinivas
ありがとうございます、しかし、Spark v2.0.0との非互換性に関するいくつかの警告が表示されますので、代わりに2.2.0を試してみましたが、そのうちのいくつかを扱うようですが、すべてではありません – LucieCBurgess
依存関係管理ツール(SBT、 Maven、Gradle)を使用してスコープ(コンパイル/テスト/提供など)を持つ外部jarを追加します。 – mrsrinivas