apache-kafka

2熱

1答えて

おそらくこれは初心者の質問ですが、KSQLで生成されたデータを読み取るにはどうすればよいですか？ストリーム処理を行い、そのデータをKSQLテーブルに書き込むとします。今、Springアプリケーションを介してこのデータにアクセスしたいと考えています（websocket経由でライブデータをファンアウトするなど）。私の最初の推測は、スプリングカフカを使用して、根底にあるトピックに登録することでした。そ

0熱

1答えて

throw err 'node-rdkafka'モジュールを見つけることができません

MacBook Proで「npm install node-rdkafka」コマンドを使用してnode-rdkafkaをインストールしました。次に、Eclipseで次のnode.jsコードを作成しようとしていますが、次のエラーが発生しています。のEclipseのNode.jsアプリケーションで、 var Kafka = require('node-rdkafka'); var produce

0熱

1答えて

カフカのトピックが正しく設定されているかどうかのテスト

このアプリケーションでは、さまざまなタイプのキューが使用されています。待ち行列を使用するアプリケーションを開始する前に、必要な待ち行列にサンプルメッセージを書き込み、待ち行列が正しく設定されているかどうかを確認するために読み取り（すなわち、削除）する自動事前チェックが行われます。現在、カフカも使用しています。しかし、カフカではトピックを「汚染する」ような実際のアプリケーションを開始する前にメッセ

0熱

1答えて

使用火花ストリーミング時自身の自己によって相殺

私はストリーミングを作成するには、以下の使用すべての行火花ストリーミングカフカデータを読み取るために、プロセスを使用します。 lines = KafkaUtils.createDirectStream( jssc, LocationStrategies.PreferConsistent(), ConsumerStrategies.<String, Stri

0熱

2答えて

単一のパーティションを持つトピックの同じgroup.idを持つ複数のコンシューマの予想される動作

特定のトピックをリッスンしている同じgroup.idを持つ複数のコンシューマがあります。トピックには1つのパーティションがあります。同一の消費者グループの消費者（同一のgroup.idで識別される）は、メッセージが単一の消費者によってのみ処理されるようなラウンドロビン方式でメッセージを取得すると私は理解しています。消費者は異なるマシン上の異なるWindowsサービスで実行されています。消費者は

1熱

2答えて

ソースを指定せずにFlumeのカフカチャンネルを使用する方法

私は既存のカフカのトピックとそこから読み取り、HDFSに書き込むflumeエージェントを持っています。私はflumeエージェントを再構成して、既存のセットアップから離れるようにしたい。カフカチャンネルを使用するために、カフカソース、HDFSシンクへのファイルチャンネル。これは、カフカチャンネルとHDFSシンク（水蒸気源なし）のみを使用してこれを達成することができると読んでいます（スティックの端が

0熱

1答えて

VagrantのKafkaクラスタ（ZK、BR、BR、BR）は接続を確立できません

問題は、プロデューサスクリプトを介してクラスタ内のブローカにメッセージを送信できないことです。セットアップはip（192.168.10.2:2181）でデフォルト設定で実行される単一の飼育係サーバーです。さらに、3つのブローカー（192.168.10.101:9092,192.168.10.102:9092,192.168.10.103:9092）があります。ブローカーをスピンアップした後、

0熱

1答えて

kafkaアペンダーlog4j2.xmlで動作しません

問題を解決するのに手伝ってください.hx！ :) 私はlog4j2を使用してtomcatからログを出力したい、そして、これらのログをkafkaに出力することができます。、私はTomcatを実行すると、ログがlog4jのに変更されません <?xml version="1.0" encoding="UTF-8"?> <configuration status="WARN"> <Prope

1熱

1答えて

Kafka FileSteamSource接続エラー

kafka connectを使用して、単純なテキスト/tmp/my-test.txtを読み込もうとしています。以下は私のファイルソースプロパティファイルです。コネクタワーカーを開始しながら、私が手 connect-file-source.properties name=local-file-source connector.class=FileStreamSource tasks.max=

0熱

1答えて

org.springframework.kafka.listener.ListenerExecutionFailedException：リスナーメソッドがjava.lang.NullPointerExceptionをスローしました

私のコンシューマークラスInventoryEventReceiverのリスナーメソッドで以下のエラーが発生しました。 NullPointerExceptionが表示される理由がわかりません。私はちょうど2つのInventoryEventオブジェクトを投稿しています。迅速なヘルプがあれば幸いです。私はカフカRESTプロキシを介して2つのレコードの下にPOSTしていたリスナー方法 public c