巨大なファイルの文字列から始まる行を数えるJavaの中で最も速い方法は何ですか

Question

私は膨大なファイル（それぞれ4.5GB）を持ち、与えられたトークンで始まる各ファイルの行数を数える必要があります。ファイルごとにトークンが最大200,000回出現することがあります。

このような巨大なファイルトラバーサルと文字列検出を実現する最速の方法は何でしょうか？ ScannerとString.startsWith()を使用すると、次の実装より効率的なアプローチがありますか？

public static int countOccurences(File inputFile, String token) throws FileNotFoundException { 
    int counter = 0; 
    try (Scanner scanner = new Scanner(inputFile)) { 
     while (scanner.hasNextLine()) { 
      if (scanner.nextLine().startsWith(token)) { 
       counter++; 
      } 
     } 
    } 
    return counter; 
} 

注：Scannerがボトルネックになっているよう

• これまでのところ、それは私がトークン検出よりも複雑な処理を追加し、すべての行でそれを適用した場合、すなわち、全体の実行時間が、より以上である（に見えます以下同じ。）あなたの助けを

事前のおかげでハードウェア側に改善の余地がないので、私はSSDを使用してい

。

Answer 1

いくつかのポインタ（仮定はラインが比較的短く、データが実際にASCIIまたは類似していることがある）：

• が一度にバイトの巨大なバッファを読んで、（たとえば1/4 GB）不完全な行を切り落として、次の読み込みに先行します。バイトのため

• 検索、

• は「で検索パターンを開始することにより、行の先頭を示す文字に変換する時間を無駄にしてはいけない 『\をn』は、特別に最初の行を扱う

• 高速を使います前処理を犠牲にして検索時間を低減サーチは、実際の行番号（よりむしろ行）が必要な場合、

• （「速い部分文字列検索」のGoogleの）別の段階で行をカウント

Answer 2

bytestreamで\n<token>を検索することで問題を減らすことができます。その場合、1つの簡単な方法は、ディスクから順次データの塊を読み取ることです（サイズは経験的に決定されますが、開始点は1024ページです）。処理のためにそのデータを別のスレッドに渡します。