Javaを使用してバッチで非常に大きなcsvファイル（30GB以上）を読む方法

Question

ヘッダーがすべてそうです。このファイルには、およそ数ヶ月分のデータが含まれています。私はすべてのものを読んで記憶に記憶するのが賢明ではないと思ったので、バッチでこれをはるかに速くすると聞いた。しかし、私は以前に試したことがないし、始める方法がわからない。

ファイルには数か月分のデータが含まれており、UNIXの日付が含まれています。私の仕事は、その行を数えて別々の月に分けることです。その後、レコードの数が最も多い月には狭くなり、その月からさらに狭くなってレコードの数が最も多く、さらに時間がさらに狭くなります。

どのようにすればいいですか？

Answer 1

私は

Answer 2

管理しやすい部分でファイルを分割し、ソートを実行すると、（ソート外部に）ソートマージ別のファイルに特定のパターンに一致するラインを使用すると、行毎にファイルを読むべきだと思う、と正規表現の抽出物を使用しました。

さらに、ロガーを分割してレコードを分割してください。たとえば、前のログを閉じて、毎日または1時間ごとに新しいログを開きます。ログを頻繁に分析する場合は、SQLデータベースの使用を検討してください。