エンタープライズアプリケーション間の大規模なデータ転送

Question

大規模なデータをエンタープライズアプリケーション内で処理するための最良の方法は何ですか？

データ

1. は1ギガバイトのデータ点で最大サイズのものであろう
2. （処理されている場合）消費場合、除去することができます。永続化する必要はありません。

データを受信して​​配布するために、JMSテクノロジ/ Kafkaクラスタを見ることはできますか？データは完全に消費されなければならず、複数のコンシューマ間で共有（パーティション分割）することはできません。

その他のオプションはどのようなものですか？

Answer 1

Apache KAFKAは、大量のデータ転送ではなくリアルタイムのデータストリームを処理するように設計されています。また、メッセージは削除されず、コミットされます。また、正確に一度の処理は、あなたによって実装される必要があります。 KAFKA自体はJTAを意識したものではありません。大きなメッセージサイズを使用することをお勧めします。

他のどのキューイング技術を使用する場合でも、メッセージサイズを1GB未満にする必要があります（つまり、データをチャンクして再構築するか、バルクではなく処理ストリームを作成する必要があります）。