kafka-consumer-api

1熱

1答えて

私はカフカを使ってプロデュースを送り、メッセージを消費しています。プロデューサーは<String, ByteArray>プロデューサーで作業しています。私は以下のコードを使用していますが（例ではありますが）、各レコードはちょうど8バイト（コードの下のサンプル出力）になっています。消費者が単純にバイト配列としてメッセージ全体を取る方法はありますか？コード：のSystem.outの props

1熱

1答えて

カフカアブロデシリアライズの問題（java.lang.NoSuchMethodException：。java.util.UUID <init>（java.lang.Stringで）

私はカフカストリームからアブロオブジェクトをデシリアライズしようとしていますし、見ています： org.apache.avro.AvroRuntimeException: java.lang.NoSuchMethodException: java.util.UUID.<init>(java.lang.String) Java UUIDにはデフォルトの空のコンストラクタがないため、カスタムデシリア

0熱

2答えて

Storm：KafkaからHDFSへの依存関係の問題

私はkafkaからデータを消費し、hdfsに書き込むストームトポロジを構築しました。以下のような嵐&カフカの依存関係を使用している場合、 <storm.version>0.10.0.2.3.4.0-3485</storm.version> <kafka.version>0.8.2.1</kafka.version> トポロジは、下記の例外を除いて失敗している： java.lang.NoSu

4熱

2答えて

複数話題のカフカ消費者

私は、将来的にサイズが大きくなる可能性のあるトピックのリストを（現在は10です）持っています。私は各トピックから消費する複数のスレッド（トピックごと）を生成することができますが、私の場合はトピックの数が増えるとトピックから消費するスレッドの数が増えます。データをあまりにも頻繁に取得するので、スレッドは理想的な状態になります。単一の消費者にすべてのトピックから消費させる方法はありますか？はいの場合

2熱

1答えて

私はカフカの特定の条件に基づいて消費することができますか？

私はKafkaにmsgを書いて、もう片方でそれを消費しています。いくつかのプロセスを実行し、別のカフカのトピックに書き戻します。私は応答がどの要求のためにあるメッセージを知りたいは... は、現在対応して書き込みと応答ペイロードを読み、同じことを決定し、その後、消費者側からのオフセットIDをキャプチャすることを決定しました。このアプローチでは、コンシューマ設定条件に基づいて消費できるその他の

1熱

1答えて

公開する方法継続リスナーとしてkafkaのコンシューマーサービス

私はkafkaトピックのコンシューマーを作成したJavaプログラムを持っています。 whileループでConsumerによってトピックを継続的に聴く。より良いデザインとスケーリングのためにループは良いアイデアではありません。カフカのトピックを継続的に消費できるスレッドを生成できるソリューションや例がありますか？

2熱

1答えて

kafka ConsumerRecords <String、String>をテスト用にkafkaで初期化する方法

kafkaコンシューマコンポーネント用のテストケースを作成し、ConsumerRecords<String,String>を返すkafkaConsumer.poll()の模擬テストケースを作成しています。私はConsumerRecordsを初期化し、それをモックで使用したいが、ConsumerRecordsのコンストラクタは、テストで持っていない実際のカフカのトピックを期待している。私はこれにつ

0熱

1答えて

新しいカフカ消費者向けAPIを使用してサンプルカフカの噴出口を書き込む方法は？

likes storm-kafka-client、私はstorm-kafka-clientに使用されていましたが、うまく動作せず、新しいspoutも書き込めません。サンプルカフカの噴出口を書くのを助けることができる人は誰ですか？

0熱

1答えて

春のデータストリームプロジェクトで同じ消費者グループのすべての消費者にメッセージを公開

私は動物園の飼育係と3カフカのブローカーをローカルに運営しています。私は1人のプロデューサーと1人の消費者を始めました。私は消費者がメッセージを消費しているのを見ることができます。その後、同じコンシューマグループ名（春のブートプロジェクト以降に異なるポート）で3人のコンシューマを起動しました。私が見つけたのは、すべての消費者が現在メッセージを消費している（受信している）ということです。しかし、

2熱

1答えて

私たちはKafka Consumerによって特定のキー付きメッセージを聞くことができます

私はKafkaを非常に新しくしています。私はいくつかの特定のメッセージだけを読む必要があるという要件があります。このため、私はカフカにメッセージをいくつかのキーと値でプッシュします。特定のキーのリストに消費者を登録する方法はありますか？メッセージがKafkaにプッシュされたとき、消費者はメッセージに消費者が聞いているキーがあるかどうかを知るため消費者が消費することになります。