kafkaプロデューサパラメータは1つのメッセージを送信する必要があります

Question

私はconfluent-kafka-python（https://github.com/confluentinc/confluent-kafka-python）を使用して、Pythonを使用してKafkaにメッセージを送信しています。私はあまり頻繁にメッセージを送信しないので、待ち時間を本当に本当に低くしたい。

conf = { "bootstrap.servers" : "kafka-test-10-01", 
     "queue.buffering.max.ms" : 0, 
     'batch.num.messages': 1, 
      'queue.buffering.max.messages': 100, 
       "default.topic.config" : {"acks" : 0 }} 
p = confluent_kafka.Producer(**conf) 
p.produce(...) 

を：しかし、私はこれを行う場合は

、私は約2ミリ秒の遅延で自分の消費者に表示されるようにメッセージを取得することができ、待ち時間はほぼゼロに低下し、私はこれで最初のメッセージを送信した後新しいプロデューサー。後続のメッセージの待ち時間は、2msの近くにあります。

最初のメッセージには約1秒の遅延がありますが、どうして？

Answer 1

マグナスEdenhill、librdkafkaの著者は、任意のlibrdkafkaクライアントでの待ち時間を少なくするように設定するには、いくつかの有用なパラメータを文書化：

https://github.com/edenhill/librdkafka/wiki/How-to-decrease-message-latency

をあなたの消費者のパラメータは表示されませんが、あなたの説明から、それはのように聞こえます消費者は最初のメッセージが公開される前にポーリングして何も得られない（ヌルメッセージ）ので、再度ポーリングして最初のメッセージを取得する前にデフォルトの500 ms fetch.error.backoff.msの間隔で待機します。その後、メッセージはおそらく十分に速くなっているため、エラー・バックオフはトリガーされません。おそらくfetch.error.backoff.msを低く設定してみてください。