apache-kafka

    1

    2答えて

    私は新しいコンシューマー(pythonコンシューマー)のリストを持っています。私は、このコマンドを使用してグループを取得することができます bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list 私は話題彼らは私もすべてのグループ(好ましくはすべての消費者を得ることができますどのよ

    -1

    1答えて

    カフカで何らかのイベント処理を実現しようとしています。私はカフカのキューにイベントを投稿するプロデューサーをいくつか持っています。また、イベントを取得し、処理し、処理されたデータをDBに保存する消費者もいます。しかし、私はすべてのイベントが処理され終了したことを確認する必要があります。キューから取り出した後にイベントが処理中に突然クラッシュするとどうなりますか?この特定のイベントがまだ処理されてい

    0

    3答えて

    私はKafka 1.0でKafka APIを使用しようとしています。私は自分自身が基本的なレベルで困惑していると感じます。 クラスAdminClientは0.10程度かかりました。それは私が試してみたい方法がありますdescribeTopics。だから私はEclipseプロジェクトをセットアップしてAdminClientを構築し、それを私のカフカクラスターに向けて、すべてがうまくいっている。 私が

    2

    1答えて

    kafkaトピックのデータを読み込んでHBaseテーブルに書き込むために、ストリームセットを使用してパイプラインを構築しています。 I HDFSファイルに書き込むことが可能ですが、私はHBaseの先を使用しようとすると、私は次のエラーを取得する: 私はサービスを管理するためにClouderaのを使っていて、私は次のように構成されましたHBaseの先のプロパティ: Zookeeper quorum

    6

    1答えて

    カフカ・コンシューマ・グループ(javaで実装されている)がブローカからのメッセージを一貫して逃していることに注目されています。 kafkaコンソールのコンシューマーを介してデバッグの最初の行として、私はブローカーで利用可能なメッセージを見ることができます。 カフカブローカーのバージョン:0.10.1.0 カフカのクライアントバージョン: <dependency> <groupId>or

    2

    1答えて

    kafka 0.11.0の6ノードクラスタを実行しています。我々は、グローバルでもトピック単位でも保持するバイト数を設定しており、いずれも適用されていません。私は何も削除されていないされ、ログに見ることができ、エラーはありません(サイズによっては、時間の保持が働いているように見えるん) は、下の関連のconfigsを参照してください: ./config/server.properties: # g

    2

    3答えて

    大規模なオンラインアプリケーションの場合は、k8sを使用して実行します。このスケールは、毎日の活動ユーザー500,000であってもよい。 K8S内部アプリケーションメッセージング機能必要 - パブ/サブを、これらのオプションがあります カフカ RabbitMQの Redisの カフカ それは飼育係が必要ですosで実行するとディスクI/Oに依存します。だからk8sクラスタにインストールすれば、どうで

    0

    2答えて

    私はflumeからkafkaにストリーミングアプリを移しています。 私はkafkaを初めて利用しているので、私は助けが必要です。 私は、CSVファイルが特定の場所(D:/ Folderなど)のIOTセンサーによって継続的に生成されているWindowsマシンを持っています。 ハープループクラスタに転送したいです。 1)ログファイルの転送の間にkafkaクラスタ/ブローカが必要ですか、またはWindo

    0

    1答えて

    私たちはspark-streaming-kafka-0-8レシーバを使用しています。 numPartitionsを増やしてイベントの消費量を増やすことはできません。 numPartitionsの増加はパフォーマンスに影響しないようです。 KafkaUtils.createStreamメソッドは、topic_nameからnumPartitionsまでのマップを持ちますが、各パーティションはそれぞれの