Filebeat with ELK>ログファイルごとにインデックスを効率的に構築する方法

Question

Filebeatを使用して、Logstashを使用して各ノードの所定のディレクトリから共通のElasticsearchデータベースにログファイルをコピーする予定です。たとえば、ソースディレクトリには、同じログ形式のログファイルがあり、それらは毎日高速で成長しています。

これらの10個のログファイルは同じログ形式ですが、10個の異なるプログラムによって生成されていますが。したがって、長期的には、ログファイルごとに1つのインデックス、すなわちインデックスを作成することをお勧めします。各インデックスは1つのログファイルに対応しています。まず、これは適切な計画なのですか？または、インデックスが毎日のベースで生成されるため、すべてのログデータのインデックスは1つで十分ですか？

IFこの目標を達成するには、ログファイルごとにインデックスを作成するのが賢明ですか？ filebeat.ymlは1つのインデックスしか定義できないように見えるので、1つのFilebeatを使用して複数のインデックスを生成することは不可能です。そのための良い解決策はありますか？

Answer 1

Filebeatは配送業者のみです。それだけでは、複数のElasticsearchインデックスに送信することはできません。このためには、Logstashが必要です。

Filebeatでログファイル用にmultiple different prospectorsを定義し、フィールドに別の値を設定すると、これをLogstashで使用してロジックを実行できます。

次に、それぞれのプロスペクターの値が異なるLogstash depending on that fieldでは、イベントを1つのインデックスまたは別のインデックスに送信します。