Kafka Streams - 状態ストアの削除/クリア

Question

私はkafka-streams DSLの最後にカスタムTransformerを実装しており、永続的な変更ログKeyValueStoreがバインドされています。

数週間以来、私はストアにあまりにも多くのデータを入れています。今私はアプリケーションをロードするたびに、あまりにも多くのRAMを食べる。

しかし、アプリケーション自体は単なるプロトタイプなので、私はそのストアを完全にクリアしても構いません。

kafka.application.idとstate-store-nameの名前を変更できますが、これは一時的な回避策です（対応するデータ/トピックは削除されません）。

どうすれば完全にパージできますか？

Answer 1

Confluentのdocumentation recommendsには、KafkaStreams.cleanUp（）を使用するか、ディレクトリ/var/lib/kafka-streams/<application.id>（構成パラメータstate.dir）で手動でディレクトリを削除します。あなたはまた、special reset toolを使用して、アプリケーションが使用するすべてのトピックをリセットする必要が

からbin/kafka-streams-application-resetを：

bin/kafka-streams-application-reset --application-id my-streams-app \ 
            --input-topics my-input-topic \ 
            --intermediate-topics rekeyed-topic 

このpost状態をリセットについては非常に興味深いです。