Spark 1.6.2、Scala 2.10およびspark-streaming-kafka_2.10
を使用している場合、ScalaコードからKafka 0.10.1.0のメッセージを使用できますか? (Kafka 0.10.1.0、インターブローカプロトコルバージョン:0.10.1.0、Scala 2.11のリモートマシンがあります)。それとも、私がスパーク2を使うべきであることを意味するのでしょうか?私はいくつかのフォーラムでは、このテキストを読んで、それは私に多くのことを混同Kafka 0.10はSpark 1.6.2と互換ですか?
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka_2.10</artifactId>
<version>1.6.2</version>
</dependency>
:例えば
Kafka 0.10 support is only coming with Spark 2.0 on Scala and Java workloads
、メッセージを消費するために、Scalaはカフカのキューパラメータ(ブローカーのリスト、飼育係のIPなどを処理しません。 。)しかし、それはそれらを解釈するカフカに直接送るだけです。それが正しいか?この場合、なぜKafka 0.10がSpark 1.6.2をサポートしていないのですか?
UPDATE:
this threadから私はそれは私が必ずカフカ0.10.1.0からのメッセージを消費するために、(上記参照)POMで指定ではなく、カフカを使用することが可能だということを理解しています。 Kafka client
の意味は? Kafkaがリモートサーバー(Kafka 0.10.1.0)にインストールされているか、POMで指定したカフカを意味していますか?それ以外の場合はkafka_2.10-0.10.1.0.tgz、 - それはカフカのバージョンによって異なり
正しく理解してください:リモートクラスタにKafka 0.10.1.0とScala 2.11がインストールされている場合は、 Scala 2.10を使用してこのクラスタのトピック、右?コンシューマーのコードは、Kafkaクラスターが動作するマシンではなく、AWSマシン上で実行されることに注意してください。 – Dinosaurius
ああ、この状態ではOKかもしれません。 – Fang