Spark Kafkaの直接ストリーミングでオフセットを手動でコミットする方法はありますか？

Question

私は頑張りましたが、満足のいく答えは見つかりませんでした。たぶん私は何かが欠けているでしょう。助けてください。

Sparkストリーミングアプリケーションではカフカのトピックを使用していますが、カフカのオフセットを先に進める前にエンドツーエンドの処理を行う必要があります。データベースを更新する。これは、ストリーミングシステム内のトランザクションサポートを構築し、各メッセージが処理（変換）され、さらに重要なことを保証するようなものです。

私はKafka DirectStreamについて読んでいます。 DirectStreamingモードでの堅牢な障害回復のために、スパークチェックポイントを有効にする必要があります（stores the offsets along with the checkpoints）。しかし、オフセット管理は内部的に行われます（["auto.offset.reset", "auto.commit.enable", "auto.offset.interval.ms"]のようなKafka設定パラメータを設定します）。コミットのオフセットをどのようにカスタマイズできるかについては言及していません（たとえば、データベースをロードした後など）。言い換えれば、"auto.commit.enable"をfalseに設定し、オフセットを管理できますか（DB接続と同じではありません）。

ご指導お願いします。

Answer 1

以下の記事は、このアプローチを理解するのに適した始まりです。

さらにより

spark-kafka-achieving-zero-data-loss

、

記事もKafkaSimpleConsumerのようなものに置き換えることができ、直接のZooKeeperクライアントを、使用することを提案しています。 zookeper/KafkaSimpleConsumerを使用する利点は、zookeperに保存されたオフセットに依存する監視ツールを活用できることです。また、情報はHDFCまたはその他の信頼性の高いサービスに保存することもできます。