apache-kafka-streams

1熱

1答えて

私はAというカフカのトピックを持っています。トピック内のデータの形式は次のとおりです。今 { id : 1, name:stackoverflow, created_at:2017-09-28 22:30:00.000} { id : 2, name:confluent, created_at:2017-09-28 22:00:00.000} { id : 3, name:kafka, cr

1熱

1答えて

KafkaStream createTopicはKafkaサーバーのauto.create.topics.enable設定を尊重していません

私たちは最近、新しいトピックの束で汚染された生産カフカクラスターを持っています。カフカのクラスタは、次の設定があります。調査時 auto.create.topics.enable=false delete.topic.enable=false 、私はこれらのトピックはKafkaStreamのcreateTopicメソッドを使用しているクライアントのチームによって作成されたことがわかった。 o

0熱

1答えて

カフカ内の異なる操作の異なるスレッドを設定する

をStreamsのIはカフカに次のトポロジを定義しているが Operation 1 : input_stream ----> filter ----> window_processing ----> write_to_topic Operation 2 : input_stream ----> write_to_topic ストリームIは、両方の操作が（私はスレッドのためStreamsCon

2熱

1答えて

カフカストリームアプリを自動的に展開

私はKafkaとKafka Streaming Applicationsから始めています。私はある話題から消してこのメッセージを処理し、別の話題に送るカフカストリームアプリを書いた。私の知る限りは、私がコード化されたこのカフカストリームアプリケーションを実行するために発見した唯一の方法は、以下のとおりです。IDEから実行するJavaクラス。 *.jarファイルを生成し、プロンプトから実行し

2熱

2答えて

KStreamをコンソールに印刷するには？

私はKafkaトピックを作成し、それにメッセージを送りました。コマンドラインでので bin/kafka-console-consumer --bootstrap-server abc.xyz.com:9092 --topic myTopic --from-beginning --property print.key=true --property key.separator="-" プリント

0熱

1答えて

カフカストリーム - GenericAvroSerde

上の不明な魔法のバイトカフカストリームとアブロデータをストリーミングしようとしたとき、私はこのエラーに出くわした： Exception in thread "StreamThread-1" org.apache.kafka.common.errors.SerializationException: Error deserializing Avro message for id -1 Caused

0熱

1答えて

与えられたウィンドウのストリームに対する統計を計算する

私は頻繁に刻み目をつける（秒を考える）ティッカーKStreamを持っています.24時間のウィンドウでさまざまな統計を計算したいと思います。たとえば、24時間の変更、特定のポイントとその前の24時間の価格の差。私の所望の入力のための私の出力は、次のとおりです。 t1 -> t1c1 t2 -> t1c2 t3 -> t1c3 t1が入力ティッカーです、そしてt1c1は、それに先立つ24時

1熱

1答えて

カフカストリームリバランス：

エラー表示のリバランスから状態遷移Iは、単一のパーティションを持つ4つのトピックおよびアプリケーションの3つのインスタンスを持っています。第一インスタンスtopic1、partition0で、topic4、partition0で 2番目のインスタンス-topic2、partition0で第三インスタンス-topic3：私は以下のように3つのタスクを作成したカスタムPartitionGroupe

0熱

1答えて

Kafka Streams：複数のトピックから消費するために同じ `application.id`を使います

私は複数の異なるトピックを聴く必要のあるアプリケーションを持っています。各トピックには、メッセージの処理方法に関する個別のロジックがあります。私はKafkaStreamsのインスタンスごとに同じkafkaプロパティを使用すると考えましたが、以下のようなエラーが発生します。エラー java.lang.IllegalArgumentException: Assigned partition my-t

2熱

1答えて

KSQLテーブルからデータを読み取る

おそらくこれは初心者の質問ですが、KSQLで生成されたデータを読み取るにはどうすればよいですか？ストリーム処理を行い、そのデータをKSQLテーブルに書き込むとします。今、Springアプリケーションを介してこのデータにアクセスしたいと考えています（websocket経由でライブデータをファンアウトするなど）。私の最初の推測は、スプリングカフカを使用して、根底にあるトピックに登録することでした。そ