kafkaクライアントを0.8.0から0.10.0.1にアップグレードする際にデータが失われることはありますか？

Question

カフカクライアントを0.8.0から0.10.0.1にアップグレードする予定ですが、コンシューマでは0.8.0バージョンのオフセットはzookeeperに保存されています。バージョン0.10.0.1のブローカに格納されているので、 0.10.0.1のバージョン0.8.0と同じグループとクライアントIDを使用すると、新しいコンシューマは古いコンシューマが消費を停止した場所からメッセージを取得します。データの損失が発生する場合は、飼い主から仲介業者へのオフセットの移行を試み、新しいコンシューマーを開始することができます。

Answer 1

飼い葉桶にオフセットを0.10で保存し続けることができます。実際に、クライアントバイナリをアップグレードしたばかりの場合、オフセットコミット動作に変更はありません。データとオフセットの移行について考える必要があるのは、アプリケーションで新しいコンシューマAPIの使用に移行する場合です。ここで、古いAPIに基づいて古いアプリケーションインスタンスを停止し、zookeeperに格納されているオフセットを確認し、新しいコンシューマAPI実装をそのオフセットからデータの消失または重複について開始する必要があります。