REST APIによってプルされたデータの重複を避けるためのSplunk

Question

私はsplunkインスタンスを持っています。データ入力を "RESTfulエンドポイントからのデータをポーリングするためのREST API入力"として設定します。 私はほぼ20以上のエンドポイントを持ち、どこでjson形式でデータを取得していて、単一のインデックスで読み込んでいます。

レポートや検索クエリが実行されるたびに、最初のフェッチで5つの値が得られ、その後のフェッチで別の5つのデータが得られ、増加し続けるようになります。

私のダッシュボードやレポートでは、重複したデータの問題に遭遇しました。どのように私はそれを避ける必要があります。 私は周りの非常に珍しい仕事のために、1分から1ヶ月に間隔を増やして、データの重複を避けるのに役立ちました。 しかし、私は1ヶ月間古いデータを持つことはできません...私はまだ1日の間隔で生存することができますが、1ヶ月では生き残れません。

私のREST APIコールを整理しておくことができます（重複を避ける）...私のダッシュボードとレポートをすばやく作成する方法はありますか？

ここに、REST API用のinputs.confファイルのスニペットがあります。

splunk clean eventdata -index <index_name> 

Splunk documentationから：あなたは、もはやあなたがcleanコマンドを使用することができ、必要とするか、または必要なデータを削除するには

[rest://rst_sl_get_version] 
auth_password = ccccc 
auth_type = basic 
auth_user = vvvvvvv 
endpoint = https://api.xx.com/rest/v3/xx_version 
host = slrestdata 
http_method = GET 
index = sldata 
index_error_response_codes = 0 
response_type = json 
sequential_mode = 0 
sourcetype = _json 
streaming_request = 0 
polling_interval = 2592000 

Answer 1

あなたのディスクから永久にインデックス付きのデータを削除するにはCLI cleanコマンドを使用します。このコマンドは、引数を指定するかどうかによって、1つまたはすべてのインデックスのデータを完全に削除します。通常、すべてのデータを再索引付けする前にきれいに実行します。

この方法の注意点は、cleanを実行する前にSplunkを停止する必要があることです。プロセスを自動化したい場合は、Splunkを停止するスクリプトを作成し、cleanをパラメータで実行してSplunkを再起動します。