私のKStreamのアプリケーションは、伝統的なKafka消費者ルートに従っていないので、どのように消費者の遅れを追跡する必要がありますか?通常はConsumerOffsetChecker(またはそのilkの何か)を使用しますが、コンシューマグループ名が必要です。Kafka KStream - 消費者の遅れを測定する
代わりに何を使用しますか?
(私は新しい消費者を起動するとき/場合ので、私は伝えることができ、これを追跡する)
私のKStreamのアプリケーションは、伝統的なKafka消費者ルートに従っていないので、どのように消費者の遅れを追跡する必要がありますか?通常はConsumerOffsetChecker(またはそのilkの何か)を使用しますが、コンシューマグループ名が必要です。Kafka KStream - 消費者の遅れを測定する
代わりに何を使用しますか?
(私は新しい消費者を起動するとき/場合ので、私は伝えることができ、これを追跡する)
カフカストリームは、内部KafkaConsumer
を活用し、消費者のグループIDとしてアプリケーションIDを使用しています。したがって、他のコンシューマの場合と同じように、ラグを監視することができます。各ストリーム処理アプリケーションは、一意のIDを持っている必要があります。
はhttp://docs.confluent.io/current/streams/developer-guide.html#required-configuration-parameters
アプリケーションID(application.id)を参照してください。
デフォルトカフカの消費者と生産者client.idプレフィックスとして
- :[...]
このIDは、他の人からのアプリケーションで使用されるリソースを特定するには、次の場所で使用されています状態ディレクトリ内のサブディレクトリの名前としてコーディネート
- ためカフカの消費者group.id(参照state.dir)
- 内部カフカのトピック名
の接頭辞として、
これは奇妙です。 'kafka-consumer-groups --zookeeper --list'を呼び出すと、何も返されません。私が**グループ**(私のアプリケーションID)と '--describe'を指定すると、私は'提供された消費者グループのトピックがありません。 ' –
ethrbunny
Kafka 0.9のコンシューマグループはZKで管理されていないため、したがって、異なるフラグを指定する必要があります: 'bin/kafka-consumer-groups.sh --new-consumer -bootstrap-server --list' –
ああ。 Ok - 私はまだ*飼い葉飼い主が必要ですか? – ethrbunny