異なるメッセージタイプを順番に送信することをお勧めします。

Question

Kafkaの初心者。

私は、タイプAの最初のいくつかのメッセージ（json）、次にタイプBのメッセージを送信したいと思います。Javaコンシューマは、データベースを更新する目的でこの順序を維持するために消費しなければなりません。

私の最初の考えは、メッセージの順序を保証するために単一のトピックを使用することでした。私はこれらの答え読み：

• https://stackoverflow.com/a/37056589/8454889
• https://stackoverflow.com/a/36587402

をしかし、別のオブジェクトタイプに対して1つのトピックを使用するには、カフカで良い習慣ではないようですか？

もう1つの解決策 "kafkaesque"はこの問題の2つのトピックを持っています。しかし、プロデューサーが最初のトピックのすべてのメッセージが2番目のトピックを送信する前に消費されたことを確認する方法はありますか？私は非同期を失うだろうか？

あなたの意見では、このタイプの構成ではどのような戦略が最適ですか？

ありがとうございます。

Answer 1

複数のトピックまたは複数のパーティションにわたって注文が保存されないため、すべてのメッセージを1つのトピックとそのトピック内の1つのパーティションに送信する必要があります。

トピックごとに一貫性のあるスキーマを適用するAvroまたは他のシリアライザを使用していない限り、同じトピックに異なるデータ型を送信する心配はありません。 JSONを送信している場合、1つのトピックで問題はありません。

トピックの複数のパーティションにわたって順序が保持されないことに注意することが重要です。トピックに単一のパーティションがある場合は、問題ありません。トピックに複数のパーティションがある場合は、順序を維持する必要があるすべてのメッセージに同じキーを発行して使用するときに、キーを使用する必要があります。これにより、すべてが同じパーティションに確実に移動します。

実際に注文が保存されることを確認したい場合は、max.inflight.requests.per.connection=1を設定する必要があります。それ以外の場合は、エラーと1つのメッセージの再試行によって、他の機内メッセージから順序が外れてしまう可能性があります。