Javaでログファイルを段階的に読み取る

Question

ログファイルを徐々に読み込んで処理する必要があります。 Javaでこれを行うための提案やアイデアはありますか？

私はかなり接近するようにしようとしているあなたはChainsaw

Answer 1

私はこの機能を達成するために使用したアプローチを書いていたのですが、かなり遅いですが。

5分ごとに定期的にファイルを読み込むジョブを開始したとします。最初の実行時に

1. 、ファイル全体を読み込む
2. ストア行数とファイル

の最終更新時刻以降のジョブが実行のためにそれは面白いとなります。

1. ファイルが変更されているかどうかを確認します（ファイルの最終変更時刻と以前のジョブ実行時に保存された時刻を使用してください）。ファイルが変更されていない場合は、何もしないでください。
2. ファイルが変更された場合は、新しい行を読み込むだけで済みます。以前のジョブの行数があるため、スキップする行数を決定するために使用します。

これまでのところ、ファイルがロールオーバーされるとどうなりますか？

2. が通過
3. 反復したパターンに一致するすべてのファイルを取得し、最後にファイルが変更された時間に基づいて昇順に並べ替える...私たちは、ファイルがロールオーバーされたときにファイル命名のためのパターンを持っていると仮定すると、前回のジョブ実行時に保存された時間よりも最後に変更された時間が経過したファイルから開始します。保存された行は、あなたが、その後、新しいファイルとそれをだ

を起動したときに、すでに

リセットライン数をラインを読み飛ばすためにスマートに数える使用してください！

いくつかの奇妙なシナリオでは、IF条件をいくつかの場所に置く必要があります。そのようなシナリオの1つは、ファイルを繰り返し処理しているときで、ファイルの最終変更時刻が格納されている時刻とまったく同じ場合は、行数をリセットするだけで、次の/新しいファイルの最初の行から開始します。後続のジョブのための

サンプルコードが実行されます（ファイルのファイル：ファイル）の

{
場合（file.lastModified（）> storedLastModifiedTime）{
//あなたはの世話をする、処理するためのファイルを持っています他のラインカウント
} IF（file.lastModified（）== storedLastModifiedTime）{
//リセット保存された行数
}
}

提案/コメント/質問がありますか？

Answer 2

など、ファイルのロールオーバー、異なるログ・フォーマット、などのすべての可能なシナリオを検討する必要があります多くの同じ問題。一見すると些細なことではないようです。あなたはEOF/EOSの概念を無視しなければならず、ログファイルのどこにいるのかを把握しなければなりません。

私は最良のアプローチは、ログファイルを読み取るための別のスレッドを持つことだと思います。私はBufferedReaderで非常に有望なテストをしました。スレッドはファイルの末尾まですべてのデータを読み込み（はnull）、N秒間スリープ状態になります（私の場合は5回）。その後、目を覚ました後、再び行を読むように試みる。 Stringを返した場合は、処理を続けます。 nullになると、再びスリープ状態になります。成功したすべての読み取りでラインカウンタをインクリメントし、停止/開始時に読み取り/書き込みするので、ログファイル内の最後の位置を特定し、その点から処理を進めることができます。

このアプローチの唯一の問題は、N秒間の待機です。 Javaを「EOF/EOSに関係なくreadLine()にブロックする」ように指示する方法は、はるかに正確です。 N秒待つと、データがすでに利用可能な状態で眠っているかもしれません。しかし、あなたはすべてのCPUの電力を食べたい場合を除き、睡眠が必要と思われる。

Answer 3

を見てとることができ

おかげで、 Sudhanshu