スパークストリーミングとカフカ、カフカからプルを発するメッセージの数を増やす

Question

私は毎秒60,000メッセージを生成するアプリケーションを持っています。 私はKafkaにメッセージを送信し、他のアプリケーションのスパークストリーミングでこれらのメッセージを受信したい、 しかし、Sparkが受信するメッセージのレートは〜40,000です。インターバルごとにスパークが受け取るメッセージの数を増やしたいのですが、どうすればいいですか？

Answer 1

kafkaでは、並列度はトピックのパーティション数によって決まります。

トピックのパーティション数を増やす必要があります。

また、スパークストリーミングを実行する実行者の数を、できるだけkafkaのパーティションの数と一致するように設定する必要があります。

これにより、最適なパフォーマンスが得られます。