kafka-consumer-api

0熱

1答えて

私のカフカの消費者コードは以下の通りですが、消費者は1人だけです！ Properties consumerConfig = new Properties(); consumerConfig.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "sandbox.hortonworks.com:6667"); consumerConfig.

1熱

1答えて

カフカコンシューマの作成に失敗しました

このトピックについてはいくつかの回答がありますが、何も機能していませんでした。次のストリームプロセッサを実行しようとしています。 object simplestream extends App { val builder: KStreamBuilder = new KStreamBuilder val streamingConfig = { //ToDo - Move t

0熱

1答えて

複数のインスタンスを持つ春のエンタープライズWebアプリケーションの場合、カフカからオフセット値を取得して保存する方法は何ですか？

私は、カフカシステムから読み込んでイベントをトリガする必要があるエンタープライズWebアプリケーションを開発しています。誰もがオフセットを取得する方法を示唆し、オフセットを保存する理想的な方法（理想的な方法は、アプリケーションの複数のインスタンスによるアクセスを処理できるはずです）？注： - 私はspring-kafkaを使用しており、さらに詳しい提案をしています。ありがとうございます。

0熱

2答えて

Kafka処理できないメッセージを消費する - 後で壊れたメッセージを再処理する方法？

私たちはSpring Kafkaを使用してKafka Consumerを実装しています。単一のメッセージの処理が失敗した場合、私が正しく理解しているように、のオプションがありいくつかの再試行が使用して処理しています気にしてばかりACK ないでくださいRetryTemplate も、これが機能しない場合RecoveryCallback 私はあなたのベストプラクティスがそれにどういうことをしているの

0熱

2答えて

カフカのメッセージキーを設計する最良の方法は何ですか？

パーティション化されたトピックがあります。パーティションにはXのパーティションがあります。現在のところ、メッセージを作成するときは、topicとvalueと指定したKafkaのProducerRecordを作成します。私はkeyを定義しません。私が理解する限り、私のメッセージはデフォルトの組み込みパーティションを使ってパーティション間で均等に分配されます。一方、私はカフカの消費者のスレッドプ

1熱

1答えて

kafkaコンシューマのローリングアップデートv0.8.2 - > 0.10.2

v0.10.2に更新中のv0.8.2コンシューマがあります。これらは大容量アプリケーションであるため、通常はローリングアップデートを行います。問題は、v10の消費者がkafkaにコミットしている間に、v8の消費者が動物園にオフセットをコミットすることです。私たちのテストでは、v8とv10のコンシューマを混在させようとすると、メッセージは二重に消費されます。 http://www.search-ha

2熱

3答えて

Kafkaコンシューマとプロデューサパーティションの一致

フロントエンドサービスがKafkaのリクエストのトピックにメッセージをプッシュし、ダウンストリームのバックエンドコンシューマの別の「応答」トピックをリッスンするシステムを作成しています。最終的にKafkaにプッシュバックして） 'request'メッセージの処理を行い、最終的に 'response'トピックにプッシュします。消費者が適切なパーティションでリッスンして応答を受信し、フロントエンドコ

0熱

1答えて

kafkaのコンシューマが同じパーティションに読み書きする

異なるグループのコンシューマは、同じトピックからパーティションxを読み込み、別のトピックとパーティションyに書き込むことができますか？私は、ある消費者が他の消費者が処理するデータを破棄する消費者戦略を実装します。データがプロデューサによって共有パーティションに保存される順序は重要ではありません。私はちょうどこれが可能

2熱

1答えて

Kafkaトランザクションのプロデューサーとコンシューマー

私はプロデューサー&コンシューマーサイドでトランザクションのセマンティクスを持つ必要があるkafkaユースケースに取り組んでいます。私はkafkaトランザクションAPI 0.11を使用してトランザクションメッセージをカフカクラスターに公開することができますが、 ..プロパティファイルで、私は問題に直面してる側は...私はisolation.level=read_committedを設定している。し

1熱

1答えて

Javaを使用して単一のサイクルでKafkaから複数のレコードを読み取る方法

常に聞くDatabaseのデータをプッシュするKafka topicsのコンシューマを作成する必要があります。ここでの要件は次のとおりです。 - カフカから複数のレコードを1つのサイクルで読み取る場合は、1回の呼び出しで複数回ではなくdbにプッシュしようとします。 public static void kafkaConsumer(String topicName, String groupId,