2016-10-05 17 views
1

ログ集計/分析用にELSとKibanaをインストールしています。それを使用する最初のシステムは緑地ですので、システムを構成するサービスから構造化ログを出力します。ログに構造を追加する必要がないことを考えれば、FileBeatを使用してログをELSに直接送り、LogStashを使用しないことを計画していました。これは賢明な選択ですか、それともLogStashは必要以上の解析に価値がありますか? LogStashを使用してログファイルを収集することはできますか?FileBeatを使用してログをLogStashに送り出す必要はありますか?FileBeatを直接ELSまたはLogStash経由で入手できますか?

答えて

3

Logstashは、多くのサーバーのログを集計し、一般的な変換やフィルタリングをイベントに適用する必要がある場合に便利です。

ログイベントがすでに構造化されていて、直接インデックスに登録しても問題がなければ、Filebeatで直接ESに送信できます。 ESがダウンすると(例えば保守のために)、Filebeatはイベントを正常に送信できるようになるまで再試行する。

+0

無制限の試行では、あなたの設定 'filebeat.yml'に' max_retries:-1'行を設定する必要があります。そうでなければ、3回だけ試して終了します(デフォルト値= 3)。私たちの設定では、バッファーとして機能するRedisもありますが、そのオプションはその場合でも有効です(redisもまた消えることがあります)。 –

2

これは合理的な選択ですか、それともLogStashは必要以上の解析に価値がありますか?

Logstashを使用するかどうかは、ESに挿入する前にログを処理する必要があるかどうかによって異なります。

(ご利用の場合には明らかに無用である)の解析に加えて、あなたはdate filterと日付を解析、geoip filterで場所を追加するLogstashを使用することができ、replace a word with anotherreplace a field with a hash ...
あなたが持つことができます利用可能なフィルタhereを見てください。

LogStashを使用してログファイルを収集することはできますか、FileBeatを使用してログをLogStashに送り出す必要はありますか?

ログスタッシュが必要で、ログがあるマシンで実行できる場合は、ファイル入力を使用してファイルビートを使用しないでください。
Logstashは、特に解析に使用すると、多くのリソースを消費する可能性があるので、別のマシンで使用し、ファイルビートを使用してログをLogstashに送る方がよいことに注意してください。

関連する問題