Filebeat複製イベント

データを削除し、Filebeatを使用して同じログファイルの内容をlogstashに渡す場合は、イベントが10％以上作成されます。私は重複がfilebeatによって作成されていることを確認するためにこれらの数を確認しました。

誰もこの問題を見ていますか？これがなぜ起こるのか、何か提案がありますか？

2017-02-02 N31lR

logstashが作成したものよりも10％多くイベントが発生しているのか、ソースファイル内に存在するイベントが10％多いのでしょうか。 –

まず、ファイルビートを削除することで何を意味するのか理解しておく必要があります。

可能性-1

あなたはアンインストールして再度インストールしている場合は、明らかにファイルビートはあなたが再摂取した（再びパスからデータを読み込み、logstash-するためにそれを掲載する予定> elasticsearch-> kibana（古いデータを仮定するので、重複）弾性ノードから削除されていません。

可能性-2。

あなただけのlogstash用に構成され、filebeatを停止しているとfilebeat再起動し、正常に更新されていませんあなたのレジストリファイルであってもよいですシャットダウン中（知っているように、ファイルビートを1行ずつ読み込み、レジストリファイルを更新するlogstash/elasticsearch/kafkaなどにどのような行が正常に公開されたかを確認し、ファイルサーバから入力された膨大な負荷を処理することが困難な場合は、それらのサーバが入力データを処理できるようになるまで待ちます。出力サーバが利用可能な場合、filebeatはレジストリファイルを読み込み、それが公開された行をスキャンして、次の行以降の公開を開始します）。あなたが見ることができるように

サンプルレジストリファイルが

{ 
"source": "/var/log/sample/sample.log", 
"offset": 88, 
"FileStateOS": { 
    "inode": 243271678, 
    "device": 51714 
}, 
"timestamp": "2017-02-03T06:22:36.688837822-05:00", 
"ttl": -2 
}

ようになり、それは、レジストリファイルにタイムスタンプを維持しています。これが重複の理由の1つです。さらに参照の場合

、あなたは下記に従うことができるのに役立ちます希望

https://discuss.elastic.co/t/filebeat-sending-old-logs-on-restart/46189 https://discuss.elastic.co/t/deleting-filebeat-registry-file/46112

https://discuss.elastic.co/t/filebeat-stop-cleaning-registry/58902

をリンクします。

出典

2017-02-03 14:05:06 RIPAN