リアルタイムログ解析の入手方法

Question

私のアプリケーションは毎日たくさんのログを構築します。私はcrontabといくつかのJavaアプリケーションを使ってこれらのデータをMySQLに格納していました。それ以外の場合は、主にMySQLのこれらのデータの分析に基づいた管理システムとその機能があります。私のアプリケーションは、単一のWebアプリケーションサーバー上で実行されていません。したがって、ログファイルに基づいてデータを直接分析するのは良い方法ではありません。しかし、ログファイルがますます大きくなるにつれて、crontabがログファイルを完全に保存するのは長い時間ですが、リアルタイム分析はできません。リアルタイム解析を行うためには、どのような最適化を行うことができますか？

Answer 1

私はあなたが1つのファイルを作成し、それにすべてのエラー、例外を書くのではなく、実行ごとにログファイルの束を作成できると思います。

私はJavaベースのアプリケーションと同じ問題に直面しますが、ログファイルのサイズは非常に大きいです。 ので、私は言及形式以下で

<フォルダ名+ DateOfRun>

   -----< File Contains Exception/Error for core Logic >.txt 
       -----< File Contains Exception/Error for primary Logic >.txt 
       -----< File Contains Exception/Error for secondary Logic >.txt 
       -----< File Contains Exception/Error for miscellaneous Logic >.txt 

をフォルダと保存されたファイルを作成し、これは私に私のアプリの後に膨大なデータを処理するためのより良い方法を提供します。ほぼ4hrsから5hrsを取ることによって実行を完了する。

Answer 2

私たちはログ分析システムとしてXpoLogを使用します。これは、エージェントなしでログファイルのリアルタイム分析を可能にするプラットフォームです。

Answer 3

OtrosLogViewer in "Batch processing" modeを使用できます。私は毎日真夜中にログのcronスキャンジョブに追加しました。あなたのアプリケーションは、Javaアプリケーションであり、あなたがデータベースに直接ログインするためにJDBCアペンダを使用することにlog4jを使用している場合、私はOtrosLogViewer

の著者