Logstashで文書を削除

Question

私はlogstashで処理するいくつかのログファイルを処理します。私はそれらを複数の文書（複数行）に分割し、必要な情報を抽出します。

問題は、何も面白いことがなく、スペースが必要ないくつかのドキュメントがあることがわかりました。

logstashによって情報が抽出されない文書を削除する方法をご存知ですか？

ありがとうございました！

Answer 1

下位バージョンのElasticSearchでは、インデックスを作成するときに、インデックス内のドキュメントの有効期限を示すttlフィールドを指定できます。 ttlを例えば24時間という値に設定することができます。 Read more here

しかし、ttlは古くなったデータを削除するという厄介な方法から非難されています。私は個人的にはlogstashでローリングインデックスを作成し、curlで日々のインデックスを削除するcronジョブを作成します。

はまた、ES

https://www.elastic.co/guide/en/elasticsearch/guide/current/retiring-data.html

からこの記事を参照してください。