古いデータをマージしてElasticsearchのスペースを節約する方法

Question

これについての情報を見つけようとしましたが、探していたものが見つかりませんでした。

私はElasticsearchデータベースに毎分メトリックを保存しています。私の考えは、頻度は短期間でしか重要ではないということです。

たとえば、前週のメトリックを毎分測定したいのですが、過去1週間に1つのメトリックのドキュメントしか持たないように、これらのメトリックを結合したいと考えています。

したがって、私はそのようなスパークストリーミングやFLINKなどのストリーム処理フレームワークでこれを達成するためのアイデアを持っているが、私の質問は：ネイティブな方法/ツール/トリックは、それがElasticsearchで実現するためにありますか？

ありがとうございます、私の質問が十分に明確であることを願ってください。そうでない場合は、詳細を記入してください。

Answer 1

1週間に1回の割合ですべてのメトリックを保存し、週が経過すると、過去の週インデックスで集計クエリを実行し、日または週のレベルですべての情報を集計することができます。その後、その週ごとの集計された情報を、後で照会できる別の履歴インデックスに新しい文書として保存します。私はSparkストリーミングを活用する必要はないと考えています.ES集約はかなり簡単に仕事をすることができます。