2017-04-18 5 views
0

メトリックのためにすべてのパーティションとブローカー間でバイト単位でKafkaトピックの合計サイズを確認してください。サイズを参照してくださいKafkaトピックをバイトで

私はこれを行う方法についてかなり長い間探してきましたが、これが可能でそれをどうすればうまくいきませんでした。

私たちはカフカのV0.82にいます。

答えて

1

トピックレベルでオーバーライドされたretention.bytesという設定が必要です。

など。あなたのトピックがすでに作成されている場合、あなたのケースでは、次のようになります。

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic metrics 
--config retention.bytes=1073741824 

ご注意をretention.bytesは、パーティションごとに適用されるので、総ディスク容量がnumber of partitions * retention bytesになること。

詳細については、このドキュメントを読んで、「保持」を検索してください。 https://kafka.apache.org/082/documentation.html#topic-config https://kafka.apache.org/082/documentation.html#brokerconfigs

+0

保持サイズの設定とその内容はわかりますが、トピックの実際のサイズを確認したいと思います。私はそれが可能ではないかもしれないと考えており、データディレクトリのチェックが必要です。 –

+0

ああ、申し訳ありませんが、私は "参照"の代わりに "セット"を誤読しました。私はそれが可能だとは思わない、あなたができる最高のは、クラスタ全体のすべての 'logs.dir'サイズを合計することです – serejja

0

あなたはスクリプトを使用して、パーティションのサイズを確認することができます/bin/kafka-log-dirs.sh

/bin/kafka-log-dirs.sh --describe --bootstrap-サーバー:--topic-list

関連する問題