異なるカフカのトピックの保持時間が異なる場合がありますか？

Question

私はマスタートピック（ログ保持期間は7日間）といくつかの小さなトピックで、ログ保持時間がより短く（2日間）、フィルタ処理されたコーパスを探しています。これは可能ですか？私はKafka v0.10.1.1を使用しています。そのデフォルト値は7日です

Answer 1

log.retention.ms、あなたは以下のようにトピックを作成するときに、トピック・レベルの設定retention.msを使用して、それをオーバーライドすることができ、一方、すべてのトピックのための世界的なレベルである。

bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test 
--partitions 1 --replication-factor 1 --config retention.ms=172800000 

Answer 2

ログ。 retention.hoursは、トピックの作成時にデフォルト値として使用されるブローカのプロパティです。 kafka-topics.shを使用して現在実行中のトピックの設定を変更する場合は、トピックレベルのプロパティを指定する必要があります。

ログ保持時間のためのトピック・レベルのプロパティがretention.msです。

カフカ0.10.1ドキュメントのトピック・レベルの構成から：

プロパティ：retention.ms デフォルト：7日 サーバーのデフォルトプロパティ：log.retention.minutes 説明：この設定は、最大時間、私たちを制御「削除」保持ポリシーを使用している場合は、古いログセグメントを破棄して領域を解放する前にログを保持します。これは、消費者がデータをどれくらい早く読まなければならないかというSLAを表しています。 正しいコマンドは

$ bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic as-access --config retention.ms=172800000 です。次のコマンドで正しく設定されているかどうかを確認できます。

$ bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic as-access 次に、あなたは、以下のようなものが表示されます。

Topic:as-access PartitionCount:3 ReplicationFactor:3 Configs:retention.ms=172800000