Scala/Sparkプログラミングを使用してカフカトピックのメッセージ数をカウントする

Question

ScalaまたはSparkプログラミングを使用してカフカトピックのメッセージ数をカウントする必要があります。私は両方のプログラミングに新しいので、私はどのようにそれを行うことができますか分からない。誰でもコードを手伝ったり、どのように達成することができますか？

Answer 1

org.apache.kafka.clients.consumer.KafkaConsumerの方法は、 beginningOffsets(Collection<TopicPartition>)およびendOffsets(Collection<TopicPartition>)です。

あなたは、カフカブローカーによってメッセージを削除できることを覚えておく必要があります。そのため、開始する必要があります。