マイクロサービスで並列コンシューマをスケールアップする方法

Question

新しいプロジェクトでは、RabbitMQまたはKafkaと一緒にMicroservicesを使用しています。私は両方の技術について同じ質問がありますが、答えは異なるかもしれません。

は、3つのイベントを検討し

：

1. を製品1
2. を作成して1

私たちは、サービス間のデータを "複製" するために、これらのイベントを使用するプロファイル1

削除製品を作成します。 1つのコンシューマを使用すると、すべてのメッセージが正しい順序で実行され、データベースの一貫性が保たれます。

ただし、この1人の消費者がメッセージの処理を遅くすると、別の消費者を並行して追加することができます。この時点では、イベント1がイベント3より前に実行されていて、不整合なデータベース（最初に削除する、後に作成する）が発生する可能性があることは不確実です。

被験者についていくつかの情報hereが見つかりましたが、どちらの解決策も実装が難しいようです。これらの消費者をどのように拡大することが可能でしょうか？ RabbitMQまたはKafkaを使用してこれを処理する方法に違いはありますか？

Answer 1

カフカベースの実装では、同じ「論理グループ」（id？）に属するすべてのイベントが同じパーティションに着くようにするだけで済みます。この場合は、より多くのコンシューマを追加できますパーティション）を使用して並列にイベントを処理しますが、すべてのコンシューマは論理グループのイベントのみを処理します。

正しいキー/パーティション化手法を選択することで、IDをキーとして使用するか、より洗練されたパーティション化の実装を選択できます。