kafka-consumer-api

0熱

1答えて

Java APIを使用しているときに、メインスレッドが2000ns未満でスリープ状態になると、メッセージをプロデュースできません。なぜこれが起こるのか本当に知りたいですか？ここでは私のプロデューサーです： public class Producer { private final KafkaProducer<String, String> producer; private

0熱

1答えて

Kafkaとinformaticaの統合

Informatica BDMでKafka Data Objectsを使用する予定です。 5分ごとにKafkaのデータをInformatica BDMに読み込みたいとします。カフカがどのように読み込まなければならない現在のオフセットを認識しているかについての質問はほとんどありません。 Informaticaがインクリメンタルまたは変更されたデータをKafkaデータオブジェクトにロードする必要がある

2熱

1答えて

__consumer_offsetsのキリングノードは、消費者にメッセージ消費をもたらしません

複製ファクタ2を持つ3つのノード（nodes0、node1、node2）Kafkaクラスタ（broker0、broker1、broker2）と、Zookeeper（Kooka tarでパッケージ化された別のノード（ノード4）。私はzookeperを開始して残りのノードの後にブローカ0を起動しました。それは__consumer_offsetsを読んでいるブローカー0ログで見られ、それらは、ブロ

0熱

1答えて

Intellijでカフカプロデューサオブジェクトを作成できません

私はSpark & Scalaを使用してIntellijのKafkaを手にしようとしています。プロデューサオブジェクトを作成中にエラーを修正できません。別に私は飼育係サーバーを開始していることから、http://central.maven.org/maven2/org/apache/kafka/kafka-clients/0.8.2.0/kafka-clients-0.8.2.0.jar htt

1熱

2答えて

Kafkaのauto.offset.resetとenable.auto.commitの意味についてはっきりしない

私はKafkaを初めて使っています。私はKafkaの設定の意味を理解していません。ここでは私のコードです：それは私のコードで val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "master:9092,slave1:9092", "key.deserializer" -> classOf[StringDe

1熱

1答えて

コンシューマ・グループが複数のトピック・パーティションにサブスクライブされている場合、カフカはどのパーティションを最初に読み込むかをどのように決定しますか？

私はカフカのトピックを読むことができるアプリケーションを構築しようとしていますが、「前に戻る」ボタンが必要です。私は特定のパーティションを探す方法を知っていますが、トピック内のすべてのメッセージを読み込まれた順序で戻すことは可能ですか？私はJava KafkaConsumerを使用しています。

0熱

1答えて

オフセットを非同期的にコミットしている間に「オフセットのコミットに失敗しました」

私は特定のトピックのデータを消費しているカフカコンシューマを持っています。私は0.10.0.0カフカ版を使用しています。 LoggingCommitCallback.onComplete: Commit failed for offsets= {....}, eventType= some_type, time taken= 19ms, error= org.apache.kafka.client

0熱

1答えて

auto.offset.reset =が最大の場合でも、消費者は毎回トピックからのすべてのメッセージを読むのはなぜですか？

私はトピック1のKafkaに5つのメッセージを生成し、それを正常に消費しました。 6番目のメッセージを送信して消費しようとすると、最新（6番目）のメッセージではなく、6個のメッセージがすべて再取得されています。私は、データベースコネクタ（アクセスモジュール）ではなく、コンシューマコマンドラインを実行しています。そして、コネクタ（以下ログからすべての設定プロパティを参照してください）「最大」に設定

0熱

3答えて

Confluent kafka C＃ライブラリのKafkaトピックから最新のオフセットを取得するには？

私はConfluent kafka C＃clientを使用しています。これでトピックから消費された最新のオフセットを取得する方法は？