0
KafkaコンシューマAPIを使用してSpark 1.5クライアントに書き込んで、KAFKA 0.9または0.10からメッセージを取得して処理できますか？ もし私ができないのであれば、Sparkをメッセージを取得し、集計と統計モデリングを適用して最終的な出力を生成する処理エンジンとして使用する最良の方法は何でしょうか。KAFKAへのクライアントとしてのSpark 1.5 0.9または0.10
A
答えて
1
公式スパークドキュメントにあなたの答えを見つけ、してください。..
これは火花1.5.2
http://spark.apache.org/docs/1.5.2/streaming-kafka-integration.html
+0
ありがとう... Apache KAFKAのバージョンは言及していませんでした。次に、私がSpark Streamingを使っていたら、集約とモデリングのロジックを適用する前に、どこにメッセージを保存すべきですか？ – Farrukhmuneer
関連する問題
- 1. Spark Kafka 0.10 NoSuchMethodError org.apache.kafka.clients.consumer.KafkaConsumer.assign
- 2. Spring-kafkaとkafka 0.10
- 3. kafka connect 0.10とSpark Structured Streamingでfrom_jsonを使用するには？
- 4. Kafka 0.10はSpark 1.6.2と互換ですか？
- 5. Kafka Consumer for Spark for Kafka API 0.10：カスタムAVROデシリアライザ
- 6. kafka Mirrormakerツールでエラーが発生しました[kafka version 0.10]
- 7. なぜkafka 0.10コンソールプロデューサーがkafka 0.9にメッセージを送信できないのですか？
- 8. Tensorflow：RC 0.10 3X 0.9より遅い
- 9. kafka 0.9の小さいretention_msが動作していません
- 10. KafkaトピックパーティションとSparkエグゼキュータマッピング
- 11. Kafka 0.10 JavaクライアントTimeoutException：1レコードが含まれているバッチが期限切れになった
- 12. Spark、Cassandra、Kafka（SMACK）SaaSまたはPaaSプロバイダ
- 13. ストーム0.10.x（KafkaSpout）を使用しているKafka 0.10.xトピックから消耗します
- 14. kafka-0.9は消費者データではありません
- 15. kafka consumer 0.9は下位互換性がありますか？
- 16. kafka new api 0.10はトピックごとにストリームとコンシューマオブジェクトのリストを提供していません
- 17. spark-streamin kafka connectとelk stack
- 18. KAFKA 0.9新しい消費者グループの参加とハートビートマルチスレッドの問題
- 19. Kafka + Sparkストリーミング：ClosedChannelException
- 20. Spark Streaming Kafka backpressure
- 21. Spark Streaming Kafka Consumer
- 22. spark kafka security kerberos
- 23. Kafka-Spark統合のブロードキャスト変数としてのKafkaProducer
- 24. Spark 2.2.0ストリーミングデータソースの検索に失敗しました：kafka
- 25. kafkaはローカルデータベースからkafkaへの移行をオフセットします
- 26. Kafka 0.9 - java apiを使用してトピックを作成するには
- 27. sparkストリーミングアプリケーションとkafka log4jアペンダーの問題
- 28. Apache KafkaのStreams APIとSpark Streaming
- 29. kafka mulipleトピックsparkのseggregation
- 30. spark、kafka統合の問題：オブジェクトkafkaはorg.apache.spark.streamingのメンバーではありません
に火花とカフカとの統合の例では、あなたのカフカkerberosedのですか？ – hadooper