Pythonでのログ解析

Question

私たちの内部監視プロセスでは、特定の日にいくつの例外が発生したか調べたいと思います。アプリケーションのログファイル（Pylonsプロジェクト）から情報を抽出します。

私はこれをPython自体で行いたいと思います。私は、例外の数をカウントするためにログ上でオフライン処理を行うスクリプトを書くことができることを知っています。

私はPythonでログファイル解析を行うために使用できるライブラリが既に存在するかどうか、あるいはこれを行うにはどうすればよいか質問したいと思いますか？

Answer 1

私はちょうど同様の状況があり、ジョブのためにPythonパッケージlogtoolsが見つかりました。 Tomcat6/Solrログファイルを解析するのに使った。

サーバーから

コピーログとlogtools virtualenvの中インストール：検索要求トラフィックを要約

mkdir /tmp/logwtf 
cd /tmp/logwtf 
scp server:/var/log/tomcat6/catalina.2012-02-03.log ./catalina.log 
virtualenv --system-site-packages --distribute . 
. bin/activate 
pip install -e 'git+https://github.com/adamhadani/logtools.git#egg=logtools' 

を：

qps -r'^(.*?) org\.apache\.solr\.core\.SolrCore execute' \ 
    -F '%b %d, %Y %I:%M:%S %p' \ 
    -W900 \ 
    --ignore \ 
    <catalina.log 

1時10分と午前1時20分PM間のすべてのサーバーの活動を：

logtoolsには、ボットのフィルタリング用のスクリプト、国別ログラインのタグ付け、ログ解析、マージ、結合、サンプリングとフィルタリング、集計、URL解析、要約統計量、計算百分位数などが含まれます。詳細 については、package's GitHub pageを参照してください。

Answer 2

いくつかの追加情報は、サンプルログのように素晴らしいでしょう。一般的に言えば、正規表現で動作する強力なreライブラリをいつでも使用できます。

Regular Expressions

re Library

そうそう一般的な問題は、あなたがサンプルログを投稿する場合、私はウルし、より良いフィットするものを見つけた場合

私が見ることができる...良い可能性は常にある再ために問題。