Java - OracleテーブルへのJMSメッセージのストリーミング

Question

JMSメッセージをキャプチャしてDBテーブルに保持するために、SpringブートとJDBCを使用しています。

できるだけメモリフットプリントを小さくするために、これらのメッセージをDBにストリームしてバッチコミットしたいと思います。

これらのメッセージをデータベースにストリーミングできますか？

現在、JMSキューから複数のJMSリスナーを使用しています。これらのリスナーは、メッセージを書き込むLinkedBlockingQueue（サービスでラップされています）を共有します。このキューは、結果がListに格納されるまで消費されます。これらの結果は、SpringのJdbcTemplateを使用して永続化されます。

これらのメッセージが中間リストに保存されるのは、一括保存を許可するためだけです。

この場合、アドバイスや実証済みのパターンはありますか？

Answer 1

便利なStreamExライブラリを使用してストリームをチャンクすることができました。 しかし、ストリームのマテリアライゼーション時にはまだJVMメモリの問題が発生しています。さらなるパフォーマンスとガベージコレクションテストを実行する必要があります。次のように

ストリームするコードは次のとおりです。

try (StreamEx<MyEntity> stream = StreamEx.of(myEntities)) { 
      stream.groupRuns((prev, next) -> recordCounter.incrementAndGet() % myApplicationProperties.getBatchSize() != 0) 
        .forEach((chunk) -> { 
         if (chunk.size() != 1) { 
          jmsTemplate.convertAndSend(chunk); 
         } else { 
          jmsTemplate.convertAndSend(chunk.get(0)); 
         } 
        }); 
     }