Javaまたはスカラを使用して大きなファイルの最後のチャンクを処理する方法

Question

かなり簡単な質問大きなファイルがあるとします。私の目的は、200行ごとに読み込んで、別のスレッドで処理することです。ファイルはかなり長いので、最後のスレッドは正確に200行を取得しません。

私は約何かを考えた：PORPOSE

String[] chunk = new String[200]; 
     int count = 0; 
     String line = null; 
     while ((line = bufferedReader.readLine()) != null) { 
      chunk[count % chunk.length] = line; 
      count++; 
      if (count % chunk.length == 0) { 
       exec.execute(new Runnable() { 

        @Override 
        public void run() { 
         // TODO process what ever 

        } 
       }); 
      } 

     } 

（....しかし、残りの最後のチャンクを解決する方法を取得していない）：考慮して別のスレッド上のラインの各チャンクを処理するため コードを記述最後のチャンクの、最高のパフォーマンス/最適化を実現しました。

PS - 最初にファイル全体カントー読み込み、メモリに格納するではないが、チャンク...私は反復中にそれを行うと思います...

Answer 1

あなたは等分で何かを処理する際にこれが、最後の部分通常の場合でありますチャンクサイズよりも小さくなるが、tot_lines % chunk_size == 0を除いて0より大きい。あなたができることは、whileループが終了した後に新しい最終スレッドを実行することです。 chunk配列には残りの行があります。

Answer 2

 Source 
     .fromFile("fileName") 
     .getLines 
     .grouped(200) 
     .foreach(doStuff)