さまざまなタイプのメッセージでログファイルを解析する方法

Question

複雑なメッセージタイプを含むログファイルがあります。ここに例があります：

2016-07-07 13:30:02 [Main] *** Program start *** 
2016-07-07 13:30:02 [UnzipFile] Before file collection 
2016-07-07 13:30:02 [GetZipCol] Start get sorted zip file collection 
2016-07-07 13:30:02 [GetZipCol] End get sorted zip file collection 
2016-07-07 13:30:02 [Main] [ERROR] No unzip file 
2016-07-07 13:30:03 [Main] *** Program end *** 

次のgrokパターンは、最初の4行にのみ適していますが、5行目には適していません。

grok{ 
    match => {"message" => ['%{Date:Date}%{SPACE}%{Time:Time}%{SPACE}%{WORD:Job}%{SPACE}%{GREEDYDATA:Message}']} 
     } 

私は、最後のメッセージから[ERROR]をキャプチャするように私は、GROKパターンの変更方法を知っていただきたいと思います。誰かがこれを行う方法を知っていますか？私は場合にのみ、プログラムの開始時と終了し、また、エラーとイベントその他のイベントをドロップすることができながら、イベントを把握したい場合

これは、confの

if [Message] == "*** Program start ***" { 
    elasticsearch { 
    hosts => ["localhost:9200"] 
    index => "log-%{+YYYY.MM.dd}" 
    template => "C:/logstash/log.json" 
    template_overwrite => true 
    } 
} 
if [Message] == "*** Program end ***" { 
    elasticsearch { 
    hosts => ["localhost:9200"] 
    index => "log-%{+YYYY.MM.dd}" 
    template => "C:/logstash/log.json" 
    template_overwrite => true 
    } 
} 
if [Level] =~ /.+/ { 
    elasticsearch { 
    hosts => ["localhost:9200"] 
    index => "log-%{+YYYY.MM.dd}" 
    template => "C:/logstash/log.json" 
    template_overwrite => true 
    } 
} 

で私の出力部です。しかし、私が書いたことによると。私は[エラー]でしかデータを把握できません。他のデータもどうやって把握すればいいですか？条件文の場合は3を入力するのではなく、より単純な方法がありますか？ありがとう。

ありがとうございました。

Answer 1

https://www.elastic.co/guide/en/logstash/current/config-examples.html#_processing_syslog_messages、第二使用です。したがって、あなたの場合、最初のパターンは[ERROR]をキャプチャしようとし、2番目のパターンは答えからのパターンになります。
私はそれがより読みやすいと思います。

grok{ 
    match => { 
    "message" => [ 
     '%{DATE:Date}%{SPACE}%{TIME:Time}%{SPACE}\[%{WORD:Job}\]%{SPACE}\[%{WORD:Level}\]%{SPACE}%{GREEDYDATA:Message}' 
     '%{DATE:Date}%{SPACE}%{TIME:Time}%{SPACE}\[%{WORD:Job}\]%{SPACE}%{GREEDYDATA:Message}' 
    ]} 
} 

Answer 2

私はlogstashの専門家ではありませんが、ドキュメントをすばやく見れば、これらの "grok"パターンは単純な正規表現の上に抽象化されているようです。

したがって、ERRORレベルメッセージにオプションの非キャプチャグループを追加すると機能する場合があります。すなわち(?:\[%{WORD:Level}\]%{SPACE})?である。だから、なるだろうフルラインを読む：参考

grok{ 
    match => {"message" => ['%{Date:Date}%{SPACE}%{Time:Time}%{SPACE}%{WORD:Job}(?:\[%{WORD:Level}\]%{SPACE})?%{GREEDYDATA:Message}']} 
} 

は、私は、ドキュメントのこの部分を使用：最初の1に障害が発生した場合は、同じGROKフィルタで2つのパターンを使用することができます