スパークストリーミング1.5.1をkafka 0.10.0で使用できますか？

Question

kafka 0.10.0でスパークストリーミング1.5.1を使用できますか？ サイトspark.apache.orgは、スパークストリーミングがkafka 0.8.2で動作することを推奨しました。

私はちょうどたい私が火花1.5.1？

とカフカ0.10.0を使用している場合、誰かが助けてください知っています。

Answer 1

このAPI spark-streaming-kafka-0-10は実験条件です。 これを使用できます。しかし、まだ安定していないので、いくつかの驚きを得るかもしれません。 下記のリンクに従ってください：

https://github.com/jerryshao/spark-streaming-kafka-0-10-connector

をこれには、Spark 1.xのストリーミング用カフカ0.10コネクタです。それが動作することを願っています。

Answer 2

私は可能だと思いますが、いくつかの制限があります。例えば、Apache spark 1.5.xはKerberos環境でのストリーミングなどの機能をサポートしていません。