2017-01-02 11 views
1

Spark 1.6.2、Scala 2.10およびspark-streaming-kafka_2.10を使用している場合、ScalaコードからKafka 0.10.1.0のメッセージを使用できますか? (Kafka 0.10.1.0、インターブローカプロトコルバージョン:0.10.1.0、Scala 2.11のリモートマシンがあります)。それとも、私がスパーク2を使うべきであることを意味するのでしょうか?私はいくつかのフォーラムでは、このテキストを読んで、それは私に多くのことを混同Kafka 0.10はSpark 1.6.2と互換ですか?

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-streaming-kafka_2.10</artifactId> 
    <version>1.6.2</version> 
</dependency> 

:例えば

Kafka 0.10 support is only coming with Spark 2.0 on Scala and Java workloads 

、メッセージを消費するために、Scalaはカフカのキューパラメータ(ブローカーのリスト、飼育係のIPなどを処理しません。 。)しかし、それはそれらを解釈するカフカに直接送るだけです。それが正しいか?この場合、なぜKafka 0.10がSpark 1.6.2をサポートしていないのですか?

UPDATE:

this threadから私はそれは私が必ずカフカ0.10.1.0からのメッセージを消費するために、(上記参照)POMで指定ではなく、カフカを使用することが可能だということを理解しています。 Kafka clientの意味は? Kafkaがリモートサーバー(Kafka 0.10.1.0)にインストールされているか、POMで指定したカフカを意味していますか?それ以外の場合はkafka_2.10-0.10.1.0.tgz、 - それはカフカのバージョンによって異なり

答えて

0

0.10.1.0 picture は、次の2つのあなたversion.ifそれぞれがScalaの2.10インストールのために、あなたはScalaの2.10をインストールする必要がありますバイナリ正式オファーをinstalled.the Scala 2.11 - kafka_2.11-0.10.1.0.tgz

+0

正しく理解してください:リモートクラスタにKafka 0.10.1.0とScala 2.11がインストールされている場合は、 Scala 2.10を使用してこのクラスタのトピック、右?コンシューマーのコードは、Kafkaクラスターが動作するマシンではなく、AWSマシン上で実行されることに注意してください。 – Dinosaurius

+0

ああ、この状態ではOKかもしれません。 – Fang

関連する問題