Distributed Kafka Connectトピック構成

Question

ノードの再起動後に私のKafka Connectワーカー構成が失われたという問題がありました。 （http://broker:port/connectors/ - >空の配列）

"retention.ms"設定と関係があると思います。接続設定も "config.storage.topic"に保存されているので、 "retention.ms"の後に削除されます。だから私は非常に高い "retention.ms"を設定する必要があります。これは正しいのですか、これはKafkaによって自動的に管理されていますか？ （トピックを自分で作成する場合）

他の2つのトピックはどうですか： status.storage.topic - 現在の状態情報のみ、それほど重要ではありませんか？ offset.storage.topic

Answer 1

はい、可能です。

「config.storage.topic」、「status.storage.topic」および「offset.storage.topic」は、すべて「cleanup.policy = compact」（デフォルトでは「削除」）で構成する必要があります。 。このポリシーでは、保持時間は効果がありません。各コネクタの最新の設定を常に保持します。