スパークストリーミング - プロデューサが完了したらどのように消費者に通知するのですか？

Question

notifyConsumerに、ProducerがすべてKafka topicに公開されると可能ですか？

複数のパーティションで同じデータ（いくつかの一意のフィールドを持つ）を使用できる可能性があるので、データをグループ化して計算する必要があります。

私はこれにSliding windowを使用することを考えましたが、プロデューサがデータの公開を完了したかどうかはわかりません。

メッセージの量はaround 50Kです。より良い設定のブローカーがあれば、Kafkaは50K messages[Single partition]を数秒で処理できますか？

現在、Default Partitionerに基づいてデータを分割する複数のパーティションを計画しています。

これを処理する効率的な方法はありますか？

更新：

15分ごとに一回、プロデューサーは、データを取得し、それはカフカのトピックにデータを公開開始し、私はこのバッチのためのユースケースであると確信していますが、これは私たちの現在の設計です。

Answer 1

スパークストリーミングはそのようには機能しません。それが動作する方法は、各バッチ間隔で流入して処理されるデータの無限ストリームです。つまり、論理的な「バッチの終わり」を伝えたい場合は、このバッチデータが終了したことを示すメッセージを送信し、処理したメッセージを希望の出力シンクに送信する必要があります。

これを実現する方法の1つは、バッチ間でデータを集約し、バッチ間隔の間に状態を維持できるステートフルストリームを使用することです。