スパークストリーミングとカフカの統合

Question

私はApache Sparkには新しく、スパークストリーミングとカフカの統合を含むtwitterデータの感情分析に関するプロジェクトを行っています。使用私は最後の段階で、

https://github.com/sridharswamy/Twitter-Sentiment-Analysis-Using-Spark-Streaming-And-Kafka しかしgithubのコード（以下にリンク）以下となっている、それはApacheのスパークとカフカの統合時にある、次のエラーを得た

py4j.protocol.Py4JError: An error occurred while calling o24.createDirectStreamWithoutMessageHandler. Trace: 
py4j.Py4JException: Method createDirectStreamWithoutMessageHandler([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.util.HashMap, class java.util.HashSet, class java.util.HashMap]) does not exist 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326) 
    at py4j.Gateway.invoke(Gateway.java:272) 
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 
    at py4j.commands.CallCommand.execute(CallCommand.java:79) 
    at py4j.GatewayConnection.run(GatewayConnection.java:214) 
    at java.lang.Thread.run(Thread.java:745) 

コマンド：bin/spark-submit --packages org.apache.spark:spark-streaming-kafka_2.10:1.5.1 twitterStream.py

Apacheのスパークバージョン：スパーク-2.1.0-binの-hadoop2.4

カフカバージョン：kafka_2.11-0.10.1.1

私はこれをデバッグすることができず、どんな助けでも大歓迎です。

Answer 1

実行しようとしている例は、spark 1.5で動作するように設計されています。 spark 1.5.0をダウンロードするか、​​をspark 2.1.0から実行します。ただし、kafkaパッケージは2.1.0に関連します。たとえば、 ./bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0です。