elasticsearchの文書は自動的に削除されますか？

Question

私はlogstashを使ってインデックスを作成し、それをMySQLデータベースからプッシュしています。しかし、私がelasticsearchに気付いたことは、いったん全データがアップロードされると、いくつかのドキュメントの削除が始まります。ドキュメントの総数は160729です。スケジューラがなければ正常に動作します。

テーブルに新しい行が追加されたかどうかを確認するために、cronスケジューラを挿入しました。それは問題になることができますか？

私のlogstashは、thisのように見えます。

どこが間違っていますか？または、この動作は共通ですか？

ご協力いただければ幸いです。

Answer 1

「docs.deleted」という数字は、ドキュメントが削除されているという意味ではなく、単に既存のドキュメントが「更新中」であり、更新されたドキュメントの古いバージョンがプロセス中で削除済みとしてマークされていることを意味します。

削除済みとマークされた文書は、Luceneがバックグラウンドでセグメントをマージすると、最終的にクリーンアップされます。