elasticsearch 5.xとFilebeatで日付を解析する方法

Question

elasticsearch 5.xとFilebeatを使用していて、ファイルビートで日付（タイムスタンプ）を直接解析する方法があるかどうかを知りたい（logstashを使用したくない） 。私はjson.keys_under_root: trueを使用していますが、うまくいきますが、問題はタイムスタンプ（私たちの上に）が文字列として認識されていることです。他のフィールドはすべて自動的に正しいタイプとして認識されました。

どのように日付としてマップできますか？

Answer 1

FilebeatをES Ingest Node機能で使用して、timestampフィールドを解析し、値を@timestampフィールドに適用できます。

着信イベントにdateを適用する、Elasticsearchで簡単なパイプラインをセットアップします。

PUT _ingest/pipeline/my-pipeline 
{ 
    "description" : "parse timestamp and update @timestamp", 
    "processors" : [ 
    { 
     "date" : { 
     "field" : "timestamp", 
     "target_field" : "@timestamp" 
     } 
    }, 
    { 
     "remove": { 
     "field": "timestamp" 
     } 
    } 
    ], 
    "on_failure": [ 
    { 
     "set": { 
     "field": "error.message", 
     "value": "{{ _ingest.on_failure_message }}" 
     } 
    } 
    ] 
} 

次にFilebeat configureにelasticsearch出力は、あなたの新しいパイプラインにデータをプッシュします。

output.elasticsearch: 
    hosts: ["http://localhost:9200"] 
    pipeline: my-pipeline