apache-kafka

0熱

1答えて

Spring Kafka： `onMessage`を使用して通知するのではなく、新しいメッセージをポーリングする

私はカフカのメッセージを消費するためにSpringベースのプロジェクトで自然な選択と思われたので、プロジェクトでSpring Kafkaを使用しています。メッセージを消費するには、MessageListenerインターフェイスを使用できます。 Spring Kafkaは内部的に、新しいメッセージごとに私のonMessageメソッドを呼び出すように気を付けます。私の設定では、新しいメッセージを明示

1熱

1答えて

kafkaストリームapp - 再起動時に古いメッセージを無視する

ライブアプリケーションのtimeseriesデータを処理します。古いデータには意味がありません。私はちょうどストリームアプリケーションが開始し、以前にコミットされたオフセットからではなく受け取ったデータを処理したいと思う。再起動後にカフカストリームアプリで古いレコードを無視する正しい方法は何ですか？ kafkaのコンシューマAPIでは、通常、最新のレコードにスキップするためにseekToEnd()

0熱

1答えて

Jhipster/Spring Kafka Pythonプロデューサを持つコンシューマ

私はJHipsterにメッセージを送るPython Producerを作ろうとしています。私は、同じメッセージを送信しようとしているが、代わりに、残りのパスでリソースを使用するので、私は単純なメッセージを送信Pythonスクリプトを使用し http://www.jhipster.tech/using-kafka/ ：私は彼らのウェブサイトで提案されている簡単な例を実装しました。ここでは同じトピッ

0熱

1答えて

カフカコンソールプロデューサースキップメッセージ

私が使用してトピックにファイルを送信しようとしています： cat myfile | kafka-console-producer.sh --broker-list $BROKER_URL --topic mytopic 私はトピックのメッセージの数をチェックすると、私は実際よりも少ない数百のメッセージを参照してください。 [2017-11-15 14:05:26,864] WARN Error

1熱

1答えて

Kafka Streamsアプリケーションのデプロイメント - 埋め込み管理とアプリケーション管理のフレームワーク

私はKafka Streamsでかなり新しいです。今私はこのシステムの基本原則を理解しようとしています。これは、今、どのように動作するか私には明らかではないが、次の記事https://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/ You just use the library in

0熱

1答えて

埋め込みカフカ以降のテストで遅れてコンシューマにメッセージを送信する

私はkafka-spring-testバージョン2.0.1.RELEASE（最新）のEmbeddedKafkaを使用しています。私は、1つのテストだけを実行しているときに正しく動作する非常に簡単なテストを行っています。しかし、私はそれらを次々と実行しているので、2番目のテストが失敗します。 - 消費者doestはメッセージを受け取りません。 public class KafkaControll

0熱

1答えて

Kafkaのオフライン管理とローカルデータベース

私はカフカのトピックとデータベースのオフセットを管理したいので、ある時点後にキューで再処理したいと思っています。これをどうやって進めることができますか？前もって感謝します。

1熱

1答えて

/etc/hostsファイルを更新せずに外部からKafka Dockerコンテナにアクセスできません。

セットアップ： 1.カフカを実行しているドッカーカフカコンテナです。 2. Kafkaコンテナの外部からのKafkaメッセージを生成して消費するJava基本アプリケーション。コンテナの外から、私はJavaスクリプトを使用してKafkaメッセージを送信しようとしていて、Javaスクリプトで記述されたコンシューマでこれらのメッセージを消費しようとしています。これは、KafkaコンテナのIPアドレス

0熱

1答えて

kafka.admin.TopicCommand Fail

私は、単一ノードKafka V 0.10.2（16 GB RAM、8コア）と単一ノードのZookeeper V 3.4.9（4 GB RAM、1コア）を使用しています。私は64の消費者団体とそれぞれが250のパーティションを持つ500のトピックを持っています。私はKafkaブローカーとその実行中の細かいコマンドを実行することができます。 ex。 ./kafka-consumer-groups.sh