未使用のkafkaコンシューマグループを削除

私はConfluent/Apache Kafka 0.10を、分散キャッシュ同期メカニズムとして圧縮されたトピックで使用しています。アプリケーションが起動すると、インスタンス固有のコンシューマ・グループIDが生成されます。インスタンスが追加され、水平スケーラビリティのために削除されると、明らかに、再び使用されるべきではない多数のグループIDが得られます。未使用のkafkaコンシューマグループを削除

私はこれがKStreamsとKTablesの完璧なユースケースだと確信していますが、私は知的な理由からこれをやっているだけでなく、KStreamsとKTablesが0.10のアルファの質として定義されています。

既存のコンシューマグループを削除することができるKafka APIコールがありますか？それを再度使用しないでください。

Zookeeperはバージョン0.10でコンシューマオフセットを維持していないので、私はkafka自体がこれを行う必要があると思うでしょう。

出典

2016-07-15 George Smith

Kafka 0.9以降、コミットされたオフセットを格納するために内部トピックが使用されます。 offsets.retention.minutesを介してこれらのオフセットを保持する期間を設定できます。（offsets.retention.check.interval.msも参照してください）。

出典

2016-07-17 14:30:42

私が心配しているのはオフセットではありません。それは、モニターツールで表示される消費者グループの数が多分です。私のアプリケーションがコンシューマグループを作成し、私のアプリケーションがコンシューマグループを削除することを知っている場合。それから、私はそれを行うためのAPI呼び出しがあると思うでしょう。たぶん機能要求ですか？ –

AFAIK、監視ツールはoffset-logを読み取り、表示される情報を収集します。したがって、私はオフセットを削除することは消費者グループを削除することと同じであると考えています。 –

よろしくお願いいたします。私たちは何が起こるか見るでしょう。私のカフカの管理者がすべての消費者団体のために私を殺すために戻ってこないなら、私は戻ってこれに答えてマークします:-) –

未使用のkafkaコンシューマグループを削除

答えて

関連する問題