3
私は長年にわたってクラスタ化されたシステムに取り組んできました。私たちがプレーンテキストのログファイルを（他のものの中でも）簡単にクエリできるようになる時期が来たと判断しました。すべてのログファイルを古いテストマシンにダウンロードしました。そこでは約20GBの圧縮が行われましたが、550GBは圧縮されませんでした（部分的には多くのスタックトレースが原因です）。私たちは、さまざまな人々によって異なる「トピック」を管理しており、私たちのログ形式は長年にわたって変化しました。しかし、私は何とかそれをすべての話題の中で単一の一貫したフォーマットに変えることができると仮定しましょう。ログファイルにパターンを自動的に見つけるオープンソースのツールはありますか？
私の質問です：フリーでオープンソースのツールがありますが、これらのファイルを緩和するだけで、自動的に同じようなログメッセージが自動的に認識されます。例えばメッセージとして：*は、データを変化させるためのプレースホルダである
User * has logged in from IP *. Duration: * ms.
：そのようなメッセージの
User John Smith has logged in from IP aaa.bbb.ccc.ddd. Duration: zzz ms.
考えると、多くの場合、ツールのようなパターンをうまくなります。いったんこれらのパターン（定期的に更新する必要がある）を取得すると、新しいメッセージをそれぞれのパターンに一致させ、有用な統計を構築することができます。
理想的には、ツールはJava、PythonまたはPerlであり、私たちはそれらを使用しており、我々はWindows/Linuxの混在した環境です。
あなたは[LOGPARSER]（http://en.wikipedia.org/wiki/Logparser）を見てきました - オープンソースではないが、フリーと非常に良いです。 – adrianbanks
ありがとうございます。私はそれを見ることができません。なぜなら、メインのウェブサイトは現在利用できないようですが、同様の製品の名前を持つことは、しばしば別のものを見つけるのに役立ちます。 :) –
[Microsoftから直接ダウンロード]（http://www.microsoft.com/downloads/en/details.aspx?familyid=890cd06b-abf8-4c25-91b2-f8d975cf8c07&displaylang=en）をダウンロードできます。 – adrianbanks