メトリックのためにすべてのパーティションとブローカー間でバイト単位でKafkaトピックの合計サイズを確認してください。サイズを参照してくださいKafkaトピックをバイトで
私はこれを行う方法についてかなり長い間探してきましたが、これが可能でそれをどうすればうまくいきませんでした。
私たちはカフカのV0.82にいます。
メトリックのためにすべてのパーティションとブローカー間でバイト単位でKafkaトピックの合計サイズを確認してください。サイズを参照してくださいKafkaトピックをバイトで
私はこれを行う方法についてかなり長い間探してきましたが、これが可能でそれをどうすればうまくいきませんでした。
私たちはカフカのV0.82にいます。
トピックレベルでオーバーライドされたretention.bytes
という設定が必要です。
など。あなたのトピックがすでに作成されている場合、あなたのケースでは、次のようになります。
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic metrics
--config retention.bytes=1073741824
ご注意をretention.bytes
は、パーティションごとに適用されるので、総ディスク容量がnumber of partitions * retention bytes
になること。
詳細については、このドキュメントを読んで、「保持」を検索してください。 https://kafka.apache.org/082/documentation.html#topic-config https://kafka.apache.org/082/documentation.html#brokerconfigs
あなたはスクリプトを使用して、パーティションのサイズを確認することができます/bin/kafka-log-dirs.sh
/bin/kafka-log-dirs.sh --describe --bootstrap-サーバー:--topic-list
保持サイズの設定とその内容はわかりますが、トピックの実際のサイズを確認したいと思います。私はそれが可能ではないかもしれないと考えており、データディレクトリのチェックが必要です。 –
ああ、申し訳ありませんが、私は "参照"の代わりに "セット"を誤読しました。私はそれが可能だとは思わない、あなたができる最高のは、クラスタ全体のすべての 'logs.dir'サイズを合計することです – serejja