Javaで結果セットを並行して読み込み/処理する

Question

私は、結果セットで返された何百万ものレコードを繰り返し処理し、それらをいくつかのデータ構造体に格納するというこの要件を持っています。私は、関連する例や参照を見つけることができませんでした。 JOOQは私が望むかもしれない何かをしているようだが、それは無料ではないようだ。私はそれを達成することができる可能性がありますが、Javaの8ストリームを使用して期待していたが、例や書き込みが私に向かう任意の方向を与えるようだ。私は他の選択肢にもオープンしています。
このSOリファレンスに基づいて：resultset parallel私は以下のように試みましたが、パフォーマンスメトリックでは以下のようにパフォーマンスの改善は見られませんでした。
CODE： シーケンシャルイテレーション：

while(rs.next()) { 
    System.out.println(rs.getString(1)); 
    } 

ストリームとspliterator使用：

Stream<String> s = StreamSupport.stream(new Spliterators.AbstractSpliterator<String>(Long.MAX_VALUE, 
       Spliterator.ORDERED) { 

      @Override 
      public boolean tryAdvance(Consumer<? super String> action) { 
       try { 
        if (!rs.next()) 
         return false; 
        action.accept(rs.getString(1)); 
       } catch (SQLException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
       } 
       return true; 
      } 
     }, true); 
     s.forEach(System.out::println); 

レコードの総数：シーケンシャルで撮影した3759
時間：Streamsで撮影した〜83.8秒
時間： 〜83.5秒

誰でもこれを確認し、私が実装されたストリームは正しくありません。

Answer 1

ResultSetは並列処理できません。クエリーのために変更する必要のある変更可能な状態を組み込んだイテレータの一種です。特に、ResultSetには、移動する必要のある現在の行があり、読み取ることができます。索引によってアクセスされる行内の値であっても、この仕様ではスレッドの安全性の保証はなく、順序がずれていることを読み取ることが基礎となるデータベースでサポートされていない可能性があることに言及しています。

したがって、並列処理の恩恵を受ける唯一の操作は、後続の操作の連鎖ですが、連鎖操作がSystem.out::printlnの場合は悪化します。印刷処理は並列処理の恩恵を受けるだけでなく、すべての標準実装でPrintStreamがSystem.outにあり、すべての書き込み操作をターゲット出力に同期させます。

並列処理の恩恵を受ける計算力の強い操作を連鎖しても、高価なデータベース操作が全体の実行時間を支配する可能性があります。だから、データベースをフィルタリングして、データをできるだけ集約してから、Java側に転送することが重要です。