必要があります（カフカ - スパークストリーミングビジネスケース）

-1

は、私は私のbuild.sbtファイル必要があります（カフカ - スパークストリーミングビジネスケース）

libraryDependencies += "org.apache.kafka" %% "kafka_2.10" % "0.10.0-kafka-2.1.1" % 
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.0.0" % "provided" scalaVersion := "2.10.4" 
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka" % "1.0.0" % "provided"

でこの依存関係を持っていますが、jarファイルを構築しようとしているとき、私は、エラーの下に取得しています

[error] (*:update) sbt.ResolveException: unresolved dependency: org.apache.kafka 
#kafka-clients_2.10;0.8.2: not found

出典

2017-08-08 akash sharma

kafka-clientsはスパークストリーミングに由来していますが、どのバージョンのスパークおよびスパークストリーミングを使用していますか？ – dumitru

は、更新されたsbtファイルとエラーメッセージで質問を編集しました。 –

spark streaming used - libraryDependencies + = "org.apache.spark" %% "spark-streaming"％ "1.0.0"％ "が提供されました" scalaVersion：= "2.10.4" libraryDependencies + = "org.apache。 spark "%%" spark-streaming-kafka "％" 1.0.0 "％"が提供されました " –

あなたはspark-streamingとspark-streaming-kafkaに間違ったバージョンを使用していると思います。バージョン1.0.0それは古すぎる、私はあなたがそれを使用する意思を持っているとは思わない。代わりに新しいバージョンを使用してください。少なくともスパーク1.6.1

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "2.1.1" 
libraryDependencies += "org.apache.spark" % "spark-streaming-kafka_2.10" % "2.1.1"

出典

2017-08-08 08:59:53 dumitru

私は依存関係を追加しましたが、私は質問で述べたエラーに直面しています。私は他の何かが欠けている。 –

0.10.0-kafka-2.1.1をお使いですか？ – dumitru

はい、 "kafka_2.10"％ "0.10.0-kafka-2.1.1" –

必要があります（カフカ - スパークストリーミングビジネスケース）

答えて

関連する問題