2017-08-23 6 views
0

Logstash 5.5でカスタムジオープ情報を追加する方法を知っている人はいますか?カスタム地理情報でログを強化する

背景: Logstash 5.xは、従来の.dat MaxMind GeoIPデータベースをサポートしていません。そのデータベースにカスタムcsvデータを追加するためのツールがありました。現在のMMDB形式(Logstash 5.xでサポートされている唯一のもの)のライターはありません。

私はtranslateおよびcsvフィルタを試しましたが、このタスクには適していません。 Translateは1行のcsvデータのみを読み取ることができ、行で検索することはできません。

私のcsvに緯度と経度だけでなく、都市名などもあるので、YAML辞書も使用できません。

データを参照するプラグインがありません。データベース、csv、何でも、オブジェクトにフィールドを追加します。

多分誰かがアイデアを持っていますか? logstash 5.5では、事前

+0

ソースデータとは何ですか?また、出力ドキュメントは何ですか? – whites11

+0

レガシー形式とMMDB形式の両方のためのperlモジュールがあります。 .datバージョンのソースコードを使用して、MMDB形式に変換することができます。また、CSV/YML/JSONファイルでキーベースの検索を行い、複数のフィールドをイベントに追加するプラグイン(私が書いた)があります。 https://github.com/alcanzar/logstash-filter-augment – Alcanzar

+0

@whites11を参照してください。私のソースは、CSV、JSON、YAMLのカスタムジオープデータを使用して、nginxとapacheのアクセスログを増強したいものです。出力はElasticSearchに保存されます。 – Conrad

答えて

0

おかげで、あなたは場所にIPアドレスを変換するGeoIP filter pluginを使用することができます。

filter { 
    "field": "clientip" 
} 

あなたがルックアップしたいIPアドレスが含まれている文書内のフィールドに「たClientIP」を調整する必要があります。

はlogstashでは、フィルタをこの方法で設定する必要があります。

+0

ジオープフィルタのみは、MaxMindのMMDBをサポートしており、CSVなどの構造化ファイルはサポートしていません – Conrad

+0

ジオップの解決は必要ありません=>緯度/経度)、何らかのカスタムマッピング(IPアドレス=>あなたの値) – whites11

+0

私たちには、公共のGeoIPデータベースには含まれていないプライベートIPアドレスを持つ多くの内部ユーザーがいます。したがって、私は、ファイル/データベース内のIPに関連するデータを調べるための解決策が必要です。 – Conrad

関連する問題