kafka-python

0熱

1答えて

私はKafkaキューからメッセージを消費するワーカーサービスを作成しました。また、数秒ごとにキューにメッセージを追加するためのテストスクリプトも作成しました。私が気づいたことは、メッセージがキューに追加されている間に、コンシューマが一度に数分間アイドル状態になることが多いことです。そして、突然、消費者は最初のメッセージを受け取って処理し、その後すぐに残りのメッセージに移動します。だからそれは最終

4熱

1答えて

kafka-pythonのマルチプロセッシング

私はkafkaブローカーからの消費にpython-kakaモジュールを使用しています。私は同じトピックから、x個のパーティションを並行して使いたいと思っています。 # Use multiple consumers in parallel w/ 0.9 kafka brokers # typically you would run each on a different server/proces

0熱

3答えて

Python kafkaコンシューマグループIDの問題

AFAIK、 kafkaのパーティションと（コンシューマ）グループの概念が、並列性を実装するために導入されました。私はpythonを使ってkafkaを使って作業しています。私は、（2つの）パーティションを持つ特定のトピックを持っています。これは、2つのコンシューマを持つコンシューマ・グループを起動すると、別のパーティションにマッピング（登録）されることを意味します。しかし、kafkaのライブラリ

3熱

1答えて

Apache Kafka 0.10.0 API with Javaを使用してKafkaブローカクラスタを作成する

Kafka 0.10 APIを使用してブローカクラスタを作成したい場合は、Javaを使用してください。私の知る限りkafka_2.11-0.10.0.0.jarを読んでてきたように使用してサポート作成ブローカーの操作を行います。 import kafka.cluster.Broker; import kafka.cluster.Cluster; しかし、私はそのようにするための任意のドキュメ

1熱

1答えて

python-kafkaプロデューサのタイムアウトがuwsgiのpythonアプリケーション

私のフラスコアプリケーションがuwsgi/nginxで動作しているときに私のkafkaサーバと通信できません。コマンドラインでpythonを使ってアプリケーションを起動すると、すべてがうまくいきます。しかし私がuwsgi皇帝とそれを走らせるとき、私のプロデューサーは応答を待っている時を過ぎています。プロデューサの作成は期待どおりに動作します。新しいメッセージを送信しようとすると問題が発生するだけで

6熱

4答えて

Kafka Consumer - Pollの振る舞い

KafkaConsumer（> = 0.9）に関する私のニーズに対応するソリューションを実装しようとすると、深刻な問題に直面しています。私は、カフカのトピックからnというメッセージを読み取るだけの機能があるとしましょう。たとえば、getMsgs(5) - >は、トピックで次の5カフカメッセージを取得します。だから、私はこのようになりますループがあります。 for (boolean exit=

2熱

2答えて

KafkaException：ウォン要求タイプ18

は、私は最近、カフカのトピックからメッセージを消費しようとし、次のエラーメッセージで迎えられた：あなたはおそらくカフカブローカーがマッピングされ、エラーメッセージから言うことができるように [2016-08-15 17:56:05,025] INFO Closing socket connection to /192.168.34.11. (kafka.network.Processor) [2