kafkaトピックから特定の行数を削除するにはpythonを使用するか、inbuiltメソッドを使用しますか？

Question

私はconsumer.poll（）メソッドを使用しているときに問題に直面しています。poll（）メソッドを使用してデータを取得した後、コンシューマにコミットするデータがないので、カフカのトピックから特定の行数を削除してください。

Answer 1

コンシューマに障害が発生した場合のデータ損失を避けるため、コミットする前にデータが完全に処理されていることを確認する必要があります。

あなたがauto.commitを有効にする場合は、次のpoll()を発行する前に、各poll()が暗黙のうちにその前のpoll()からすべてのデータをコミットしているためこのように、完全にpoll()後にすべてのデータを処理していることを確認してください。

これが可能でない場合は、consumer.commit(...)でデータが完全に処理された後にauto.commitを無効にし、手動でコミットする必要があります。このためには、各メッセージを個別にコミットする必要はなく、オフセットがXのコミットは、オフセットが< Xのすべてのメッセージを暗黙的にコミットすることを覚えておいてください（たとえば、オフセット5のメッセージを処理した後、最後に正常に処理されたメッセージではなく、処理したい次のメッセージです）。オフセット6をコミットすると、すべてのメッセージが0から5のオフセットでコミットされます。したがって、より小さいオフセットを持つすべてのメッセージが完全に処理される前に、オフセット6をコミットしないでください。