カフカ再バランスに要する時間をどのように測定するのですか？

Question

私はカフカにはとても新しいです。だからこの質問は非常に基本的かもしれない。 私が達成しようとしているのは、ブローカが失敗し、その後に追加されたときに再調整にかかる時間を調べることです。 私の文書を読む（http://kafka.apache.org/documentation/#basic_ops_restarting）。ブローカーが失敗した場合やmigrate any partitions that the server is the leader for to other replicas

マイカフカにかかる時間を見つけている私は何をしたいのメンテナンス

• It will sync all its logs to disk to avoid needing to do any log recovery when it restarts (i.e. validating the checksum for all messages in the tail of the log). Log recovery takes time so this speeds up intentional restarts.

• It will migrate any partitions the server is the leader for to other replicas prior to shutting down. This will make the leadership transfer faster and minimize the time each partition is unavailable to a few milliseconds.

のために降ろされた場合セットアップは3つのブローカノードと3つのzkノードです。

さらに、このノードをauto.rebalance=trueのプロパティに追加すると、再バランスが再び開始され、リーダーが再選されます。 この時間もどのように測定するのですか？

Answer 1

データコピーのように「移行」はありません。ブローカをきれいにシャットダウンするとき、コントローラは、ブローカがリーダーであったすべてのパーティションで利用可能なレプリカから新しいリーダーを選ぶだけで、移行を高速化します。

リーダー選挙を監視できる指標がいくつかあります。

kafka.controller:type=ControllerStats,name=AutoLeaderBalanceRateAndTimeMs 

これは、レートとオートリーダーリバランスの期間を追跡： は0.11.0.0ので、ブローカーは含めコントローラーメトリックの数を公開しています。 0.11で追加されたコントローラメトリックの完全なリストは、KIPで提供されています： https://cwiki.apache.org/confluence/display/KAFKA/KIP-143%3A+Controller+Health+Metrics#KIP-143:ControllerHealthMetrics-ControllerMetrics

古いバージョン（< 0.11.0.0）を実行している場合は、あなたのような評価指標に依存する必要があります：

kafka.controller:type=ControllerStats,name=LeaderElectionRateAndTimeMs 

これには任意のリーダー選挙が含まれます。