カフカソースコネクタが無効なオフセット値を取得する

Question

単純なポーリング方法を持つSourceTaskを持っています（かなり高速に完了します）。 context.offsetStorageReaderから取得したオフセット値は、以前のpoll（）メソッドで返されたオフセット値と一致しないことを意味する大部分が失効しています。

同時に、「commitOffsetsが正常に」発生したときに、オフセット値が「新鮮」に更新されることをログから確認できます。

私の質問は：これは意図的に設計されたものですか？ "Offset_COMMIT_INTERVAL_MS_CONFIG"の値を減らしてオフセットがSourceTask.poll（）メソッドよりも速くコミットされるようにする必要がありますか？

Answer 1

org.apache.kafka.connect.runtime.OffsetStorageWriterクラスのコメントによると、poll（）の実行ごとに読み込まれるのではなく、「オフセットデータはタスクの起動時または再構成時に読み込む必要があります。方法。