kafka：プロデューサオフセットのトラックを維持する

Question

私はApache Kafka （コンフルエントなし）を使用しており、残りのAPIからプルし、データをKafkaに送信してシャットダウンする単純なカフカプロデューサを持っています。 私はコンシューマーを開発している間にこれをテストしました。

私はオフセットを追跡できますが、私のプロデューサでカスタムオフセットを設定できないようです。

私の残りの呼び出しでは、常に同じデータを取得しないように日付を記録する必要があります。その「最後のタイムスタンプ」を自分で保存しなければならないのですか、何か不足していますか？

Answer 1

あなたのシナリオでは、プロデューサー側の「Kafka」オフセット（Kafkaに書き込むとき）に興味はありませんが、あなたが正しいようにREST APIから取り出した最新のデータをトレースする「オフセット」あなたはそれを自分で行う必要があります。 Kafkaプロデューサ側では、最新の送信メッセージ（RecordMetadata内）に割り当てられたオフセットを知ることができますが、REST APIからデータを取得したときの最新のタイムスタンプとは関係ありません。