kafka-consumer-api

2熱

1答えて

私はカフカメッセージを消費するPHPアプリケーションを持っています。カフカに新しいメッセージがあることを知る方法は問題ですか？最初の解決策は、コンシューマーをPHPで作成し、それをループで実行して新しいメッセージをチェックすることです。このようなもの <?php namespace MyAppBundle\Command; use MyAppBundle\EventSourcing\E

8熱

2答えて

カフカとファイアウォールのルール

私たちはかなり厳密なネットワークセグメンテーション方針を持っています。私はクラウドファウンドリのインスタンスを使ってアプリをデプロイしています。ファイアウォールルールは、クラウドファウンドリインスタンス内からカフカクラスタに到達するように設定されています。私はファイアウォールのルールも、飼い猫のインスタンスにも同様に設定されていると考えています。私は実際にそれを確認する必要があります。私の問題は

1熱

1答えて

の読み込みオフセットとメタデータブロックブローカーの再起動後にKafkaConsumer

我々は時々のうち1後に限り20〜30分でハング新しいKafkaConsumerの「ポーリング」メソッドの呼び出し問題を抱えています3人のカフカブローカーが再起動しました！ 3ブローカーkafkaセットアップ（0.9.0.1）を使用しています。コンシューマプロセスは新しいJava KafkaConsumer-APIを使用し、特定のTopicPartitionsに割り当てるのはです。私はここに実際

2熱

1答えて

カフカコンシューマーによるポーリングと再接続

私たちは、プロジェクトのためにカフカを使い始めました。私たちはkafka_2.11-0.9.0.0を使用しています。私はKafkaConsumerに関連するいくつかのクエリを持っています。 1）ZookeeperとKafkaサーバーを起動する前にKafka Consumerを開始しましたが、引き続きKafkaConsumerクライアントが接続できました。私は、コード Consumer<String

0熱

1答えて

プロデューサーのKafkaデータ損失

私は、1つのトピック、1つのプロデューサー、1つの消費者を構成しようとしています。例えばプロデューサーは、生産ブローカーがダウンした場合、データの損失が発生し、：プロデューサー用に設定 In Buffer: Datum 1 - published Datum 2 - published . . ---->(Broker goes down for a while and reconne

0熱

1答えて

KAFKAへのクライアントとしてのSpark 1.5 0.9または0.10

KafkaコンシューマAPIを使用してSpark 1.5クライアントに書き込んで、KAFKA 0.9または0.10からメッセージを取得して処理できますか？もし私ができないのであれば、Sparkをメッセージを取得し、集計と統計モデリングを適用して最終的な出力を生成する処理エンジンとして使用する最良の方法は何でしょうか。

0熱

2答えて

特にカフカパーティションでメッセージを消費して生成しますか？トピックのすべてのパーティションを読み取るための

：〜ビン/ kafka-console-consumer.sh --zookeeperはlocalhost：2181 --topic myTopic --from-始まるどのように私は特定のパーティションを消費することができますトピックの？（たとえばパーティションキー13の場合）特定のパーティションキーを持つパーティションでメッセージを生成する方法は？出来ますか？

1熱

3答えて

キュー内のすべてのカフカメッセージを取得し、Javaでストリーミングを停止する

夜間にジョブを実行すると、カフカキュー内のすべてのメッセージが取得され、プロセスが実行されます。私はメッセージを受け取ることができますが、カフカストリームはより多くのメッセージを待っていて、処理を続行できません。私は、次のコードを持っている： ... private ConsumerConnector consumerConnector; private final static String

0熱

1答えて

カフカ消費者がデータを消費しない

私はカフカを初めて使っています。私は動物園の2人のインスタンスとブローカーの2人のインスタンスでカフカをテストしています。テストトピック "topicA"を作成しました。以下は私の話題です。 Topic:topicA PartitionCount:1 ReplicationFactor:1 Configs: Topic: topicA Partition: 0 Leader: 2

-1熱

1答えて

カフカとは何ですか？それはデータ保管サーバーですか？

カフカはデータ保管サーバーですか？私が理解したようは、一例では、ユーザは、ゲームクライアントでアイテムを買いました。ゲームサーバーに購入ログを保存します。そして、ゲームサーバーはkafkaプロデューサーを通じてkafkaサーバーにデータを送信します。カフカはこれらのデータを保存し、購入ログを必要とするサーバーに消費者経由で送信します。いいですか？私はカフカのコンセプトを理解できません