kafka-consumer-api

1熱

1答えて

初めてカフカを設定すると、カフカ0.11。かなりのデフォルト設定を使用しています。プロデュースされたABCのトピックにいくつかのメッセージが生成されました。 2消費者は、同じトピックからのメッセージを消費するようにコード化されています。各消費者は異なるグループidのGROUP.1とGROUP.2に属します。すべてのメッセージとオフセットの詳細については、トピックを参照してください。 kafka-

0熱

1答えて

Kafka gzipの圧縮メッセージをトピックからスパークストリーミングへ読む方法

Gzip圧縮を使用するにはプロデューサー側で変更する必要があることがわかりますが、メッセージを読む際に圧縮解除する方法がわかりません。しばらくお待ちください。圧縮されていないメッセージに対してMy End to End Streamingが動作します。ありがとうございます

0熱

1答えて

ブローカーベースのオフセットを使用して消費者のラグをプログラム的に取得

私はインターネットを通して文字通り一貫してコーディングしています。私が欲しいのは、特定のgroupIDに対して、コンシューマグループのラグメトリック（または、2つのオフセットが派生したもの、現在のものと最後のもの）です。私はkafka 0.9+を使用しています（飼い主ではオフセットがないので）、必要に応じて新しいものを使用することもできます。スクリプトを使用しないで、プログラムでを取得する方

0熱

1答えて

Kafka HAの消費者設定

私の環境では1つのインスタンスが稼働していてもうまく動作していますが、複数のインスタンスを実行すると、3つのインスタンス（高可用性）アプリケーションはトピックからメッセージを消費することができます。私はそのトピックに3つのパーティションと1つのレプリケーションファクタを持っています。私は ./kafka-topics.sh --describe --zookeeper localhost:21

0熱

1答えて

log.debug（グループ{}のコーディネーターディスカバリーに失敗しました。メタデータをリフレッシュしました。 "、groupId）kafka 0.11.0.xで

私はKafka（バージョン0.11.0.2）サーバーAPIを使用してローカルホストでkafkaブローカーを開始しています。問題なく実行されるので、プロデューサーもメッセージの成功を送ることができます。しかし、コンシューマはメッセージを受け取ることができず、consoleには何もエラーログはありません。コードをデバッグし、"refreshing metadata"のためにループします。私はその[O

0熱

2答えて

フォルダ内のファイルをストリーミングする

私はflumeからkafkaにストリーミングアプリを移しています。私はkafkaを初めて利用しているので、私は助けが必要です。私は、CSVファイルが特定の場所（D：/ Folderなど）のIOTセンサーによって継続的に生成されているWindowsマシンを持っています。ハープループクラスタに転送したいです。 1）ログファイルの転送の間にkafkaクラスタ/ブローカが必要ですか、またはWindo

0熱

1答えて

カフカのブローカーリストと1つのブローカーの間に接続を作成していますか？

私はカフカクラスターを運営しています。サンプルコード： Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092,localhost:9093,localhost:9094"); KafkaProducer<Str

0熱

1答えて

org.springframework.messaging.MessageHandlingException：欠落しているメソッドのパラメータの型のヘッダー「kafka_receivedMessageKey」[クラスjava.lang.Integerの]

マイクラスタ構成、クラスの詳細とジャーバージョンは、私が始めている質問org.apache.kafka.common.KafkaException: Failed to construct kafka consumer に記載されていますZookeeperサーバー、Kafkaサーバー、Kafka RESTサーバー次に、spring-kafka-webhook-service.warというファイル名

0熱

2答えて

単一のパーティションを持つトピックの同じgroup.idを持つ複数のコンシューマの予想される動作

特定のトピックをリッスンしている同じgroup.idを持つ複数のコンシューマがあります。トピックには1つのパーティションがあります。同一の消費者グループの消費者（同一のgroup.idで識別される）は、メッセージが単一の消費者によってのみ処理されるようなラウンドロビン方式でメッセージを取得すると私は理解しています。消費者は異なるマシン上の異なるWindowsサービスで実行されています。消費者は

0熱

1答えて

org.springframework.kafka.listener.ListenerExecutionFailedException：リスナーメソッドがjava.lang.NullPointerExceptionをスローしました

私のコンシューマークラスInventoryEventReceiverのリスナーメソッドで以下のエラーが発生しました。 NullPointerExceptionが表示される理由がわかりません。私はちょうど2つのInventoryEventオブジェクトを投稿しています。迅速なヘルプがあれば幸いです。私はカフカRESTプロキシを介して2つのレコードの下にPOSTしていたリスナー方法 public c