カフカのパーティションとオフセットが消えた

Question

私のKafkaクライアントは、自動スケールが有効になっているGCP App Engine Flex環境で実行されています（GCPはインスタンス数を少なくとも2に保ち、CPU使用率が低いためほとんど2でした）。その2つの仮想マシンで動作するコンシューマ・グループは、数か月にわたって20のパーティションのさまざまなトピックからメッセージを消費していましたが、最近、古いトピックのパーティションは1に縮小しました（！）、そのコンシューマ・グループのオフセットは0にリセットされました。 [パーティション]ディレクトリもkafka-logsディレクトリから削除されました。不思議なことに、最近作成されたトピックパーティションはそのままです。私は3つの異なる環境（すべてGCPにあります）を持っていて、これは3つすべてに起こりました。紛失したメッセージやデータの問題は見られませんでしたが、この問題を再び回避するために何が起こったのかを理解したいと考えています。

kafkaブローカーとZookeeperは同じGCPコンピューティングエンジンインスタンスで実行されています（これはベストプラクティスではなく、改善する予定です）、マシンの再起動と関係があり、情報。しかし、データファイルは、/ opt/bitnami /（kafka | bitnami）ディレクトリの下に書かれ、マシンの再起動によって削除できる/ tmpではないことが確認されました。この上の任意の洞察力がなる

• 春カフカ1.1.3
• カフカクライアント0.10.1.1
• 単一ノードカフカブローカー0.10.1.0
• 単一ノードのZooKeeper 3.4.9

感謝！

Answer 1

Bitnamiデベロッパーはこちら。私は問題を再現し、tmp/kafka-logs/フォルダの内容を消去していたinitスクリプトに追跡することができました。

カフカinstallers,virtual machinesおよびcloud imagesの新しいリビジョンをリリースしました。修正を含むリビジョンは1.0.0-2です。