Kafka KStreamアプリケーション - 一時ファイルのクリーンアップ

Question

私のKStreamベースのアプリケーションが多くのgBファイル（.sst、Log.old。<スタンプなど）を重ねているようです。

これは単独で解決されるのでしょうか、それとも私が目を離す必要があるのでしょうか？いくつかのパラムはそれらを淘汰するために設定する必要がありますか？

Answer 1

これらのローカル/一時ファイルについて：これらのファイルの一部はアプリケーション状態であり、消費される領域の大部分を占めるものである必要があります。アプリケーションが実際に多くの状態を管理しているため、アプリケーションが数GBのファイルを「積み重ね」ている可能性があります。これらのファイルは、カフカから状態の変更ログを再生することで（自動的に）再構築できますが、削除するには時間がかかることがあります。

これは単独で解決されるのでしょうか、それとも私が目を離す必要があるのでしょうか？いくつかのパラムはそれらを淘汰するために設定する必要がありますか？

いくつかのクリーンアップが行われますが、私が上で書いたように、おそらくファイルは理由のためにそのスペースを消費します。アプリの処理トポロジのスニペットや、アプリの処理に関する情報を共有することができます。これにより、消費されたスペースが正しいかどうか、問題があるかどうかを理解するのに役立ちます。

クリーンアップ：最新のバージョンのKafka（0.10.0.1）には、Kafka Streamsのアプリケーションリセットツールと、クリーニング/リセットのためのAPIメソッドが付属しています。Data Reprocessing with Kafka Streams: Resetting a Streams Applicationを参照してください。つまり、アプリケーションを停止し、すべてのローカルデータを削除したい、またはアプリケーションが実行中に「ガベージコレクション」を実行したいので、ファイルをクリーンアップしようとしているかどうかはわかりません。後者の場合（GC）、一般的には必要ありません。ファイルは正当な理由でそこにあり、おそらくちょうど再作成されます。