apache-kafka

0熱

1答えて

プロデューサから送信されたデータがコンシューマに届かない理由はわかりません。私はcloudera仮想マシンに取り組んでいます。私は、プロデューサーがKafkaを使用し、消費者がスパークストリーミングを使用する単純なプロデューサーコンシューマーを作成しようとしています。 Scalaではプロデューサーコード：Scalaでは import java.util.Properties import o

0熱

1答えて

restコントローラがspring kafka経由でkafkaのレコードを返す

私のデモアプリケーションでは、メッセージをkafkaキューに戻すためにrestコントローラを作成する必要があります。私は春・カフカのリファレンスガイドを読んで、消費者の設定を実装し、作成した豆を @Configuration @EnableKafka public class ConsumerConfiguration { @Value("${kafka.bootstrap-ser

0熱

2答えて

Confluent.Kafkaを使用した.netコアサービスからのKafkaへの書き込み

MEMSQLサーバからデータをフェッチしてクライアントに返す.netコアサービスがあります。ただし、サービスで生成されたクエリは、カフカクラスタに記録する必要があります。 Confluent.Kafkaパッケージをインストールしてログを記録しようとしましたが、ローカルで実行しても問題ありません。しかし、容器の中に、サービスは次のエラーをログに記録して生成することができません。 warning NU

1熱

2答えて

Kafka製作者JSONシリアル化

私はKafkaとの統合にSpring Cloud Streamを使用しようとしています。書き込まれているメッセージはJava POJOであり、期待通りに動作しています（メッセージはトピックに書き込まれていて、コンシューマアプリケーションで読むことができます）。メッセージの先頭にいくつかの不明な文字が追加されていますトピックからのメッセージをシンクするためにKafka Connectを統合しようとす

0熱

1答えて

1つのパーティションでカフカトピックの同時メッセージリスナーを作成する方法

Uusing Spring Kafka org.springframework.kafka.listener.ConcurrentMessageListenerContainerは、トピック内のパーティション数とContainerPropertiesに基づいて複数のリスナーを作成します。 javadocには、「同じパーティション内のメッセージは順次処理されます」と表示されます。したがって、パーティ

0熱

1答えて

wurstmeister/kafkaドッカー画像用のZookeeper znodeを定義します。

カフカzノードを別のzノードでルートに設定しません。 /admin /brokers /cluster /config が、私はそれらを再編成し、デフォルトのZooKeeperのznodeを持つようにドッキングウィンドウ・コンための任意のプロパティがあり /kafka/admin /kafka/brokers /kafka/cluster /kafka/config カフカのの

0熱

1答えて

Kstreams内のテーブルの更新とアクセス

データ "A"のストリームにアクセスし、テーブル "B"に対していくつかの条件をチェックし、最後にテーブル "B"の状態を更新したいと思います。 (A,B) ====> check conditions in B ====> finally update B どのように私はカフカストリームで同じロジックを実装することができますか？ドキュメンテーションから私の観察は、データ "A"をストリーミン

0熱

1答えて

Kafka Javaコンシューマ

私のKafkaコンシューマは2つのスレッドを持ち、パーティションの数は10と言います。つまり、コンシューマスレッドごとに5つのパーティションがあります。特定のレコードを処理する必要がある時間を節約しています。今度はpartition1のrecord1を10時間後に選択する必要がある場合、スレッドは次のパーティションに移動して、次のパーティションを選択できるかどうかを確認します。例： P1 - 8

0熱

1答えて

Kafka、Spark大きなcsvファイル（4Go）

バッチとストリーミングを処理するkafkaとsparkとの統合チャネルを開発しています。バッチ処理では、巨大なCSVファイル（4 GB）を入力しました。は、私は2つのソリューションを検討している：ファイルシステムにファイル全体を送信し、ファイルアドレスとをカフカするメッセージを送信を、そしてsaprkジョブが FSからファイルを読み込みますし、それをつける。ユニットメッセージ（apach

1熱

1答えて

限られた期間またはレコード数でカフカの話題からストリーミングを停止するかどうかをチェックする方法は？

究極の目標は、カフカのトピックが実行中かどうかを確認し、それ以外の場合は失敗/エラーをスローすることです。メッセージを100個だけプルするか、私が望むものを達成することができます。しかし、私がオンラインで見つけたすべてのストリーミングの例/質問には、ストリーミング接続をシャットダウンするつもりはありません。ここまでは、データをプルして表示するための最良のコードですが、それ以上のデータを取得しよ