kafkaから別のシステムで下流に伝播したい変更イベントを取得しようとしています。しかし、変更命令は重要です。それで、真ん中でスパーク変換をすることでこれを行うための適切な方法はなんですか?私が見る唯一のことは、並列性を失い、1つのパーティションにDstreamを作成することです。たぶん、並行して操作を行い、すべてを1つのパーティションに戻し、それを外部システムに送信するか、またはカフカに戻し、カフカシンクを使用する方法があります。Sparking Streamingでの注文保証
あなたの経験とアプローチを分かち合うことができれば、それは素晴らしいことでしょう。ありがとう。
カフカはパーティション内での注文を保証します。つまり、変更イベントに固有のIDがある場合、そのデータは常に同じパーティションに格納されます。したがって、注文保証があります。異なる変更イベント、つまり異なるIDにまたがってグローバルオーダーについて心配している場合にのみ、パーティション= 1ルートに移動する必要があります。 –