kafka-python

0熱

1答えて

コンフルエントKafka：コンシューマは、トピックのすべてのパーティションについて最初から読み込みません。

トピックが40個あります。設定は次のとおりです。 def on_assign (c,ps): for p in ps: p.offset=0 print ps c.assign(ps) conf = {'bootstrap.servers': 'localhost:9092' 'enable.auto.commit' : False, 'group.id

apache-kafka kafka-consumer-api confluent-kafka kafka-python 2017-12-06

---

0熱

2答えて

Pythonで同じグループidを持つ複数のコンシューマ

Pythonで同じグループIDを持つ複数のコンシューマを実行する方法を知っている人はいますか？ 私は次のように試しました a = Consumer({'bootstrap.servers': 'localhost:9092', 'group.id': 'dd1', 'default.topic.config': {'auto.offset.reset': 'smallest'}})

python apache-kafka kafka-python 2017-10-21

---

0熱

1答えて

インポートカフカエラー、カフカ-pythonの

ENV：CentOSの、python2.7.9 カフカ-pythonの== 0.9.3 6 == 1.9.0 私はカフカに新しいが、私は例のプログラムをしようとしていますよ以下のエラーが表示されます。どんな助けもありがとう。 コードは "カフカからの輸入KafkaClient、KeyedProducer、RoundRobinPartitioner" Traceback (most recent c

python apache-kafka kafka-python 2017-10-25

---

2熱

1答えて

Pythonマルチプロセッシングを使用してデータがKafkaキューにプッシュされない

kafka-python（1.3.5）KafkaProducerを使用して、データをKafkaキューにプッシュするPython（2.7）マルチプロセッシングを使用しています。 from kafka import KafkaProducer import multiprocessing # other imports class TestClass(object): def __

python multithreading apache-kafka multiprocessing kafka-python 2017-11-08

---

1熱

1答えて

自動コミットが可能な状態で、手動でパーティションを割り当てる方法を教えてください。

私は、コンシューマ・グループ内の各コンシューマにパーティションを手動で割り当てようとしています。ただし、グループにコンシューマを追加すると、Kafka（または少なくともkafka-python）は、グループコーディネータにすべての割り当てを行うことを前提としています。コンシューマ・グループ（特に自動コミット）を使用することの利点をすべて維持しながら、パーティションの割り当てを手動で管理できる方法は

apache-kafka kafka-consumer-api kafka-python 2017-09-20

---

0熱

1答えて

シンプルなカフカプロデューサーのトラブル

私は開発を開始するために、Mac Pro（Sierra; 10.12.6）でローカルにカフカを実行しています。私は、ZooKeeperのとカフカサーバ（0.11.0.1）を開始しました： bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh config/server.propert

python apache-kafka kafka-python 2017-09-22

---

1熱

1答えて

kafka-python kafka.KafkaProducer＃send（）に失敗したコールバックを追加するには？

生成されたレコードが失敗した場合にコールバックを起動するように設定したいと思います。最初は、失敗したレコードを記録するだけです。 コンフルエントカフカのPythonライブラリのコールバックを追加するためのメカニズムを提供します： produce(topic[, value][, key][, partition][, on_delivery][, timestamp]) ... on_

kafka-python 2017-09-24

---

0熱

1答えて

カフカパーティションラグを増やす

私はキューとしてKafka 1.0を使用するアプリケーションを持っています。カフカのトピックには80のパーティションと80のコンシューマが走っています。 （Kafka-pythonの消費者）。コマンドを実行することにより ：私はパーティションの1つがオフセットで立ち往生し、新しいレコードが追加されているようタイムラグが連続的に増加していることを見 ./bin/kafka-consumer-grou

python apache-kafka kafka-consumer-api kafka-python 2017-11-15

---

0熱

1答えて

Python-Kafka：スクリプトモードではなく対話モードで実行されているプログラム

Machine_1のpythonスクリプトを使用して、Machine_2のKafkaトピックにいくつかのメッセージを送信しようとしています。 Machine_2とMachine_1は同じネットワークにあり、どちらもAzureのVMです。 コード：sampl.py from kafka import KafkaProducer Producer = KafkaProducer(bootstrap_

python apache-kafka kafka-python 2017-10-13

---