2016-05-17 43 views
1

私は、Apacheのkafkaトピックからメッセージを消費しているPython 2.7で簡単なコードを書いています。コードは以下の通りです:kafka-python raise kafka.errors.ConsumerFetchSizeTooSmall

from kafka import SimpleConsumer,KafkaClient 
group = "my_group_test" 
client = KafkaClient('localhost:9092') 
cons = SimpleConsumer(client, group, "my_topic") 
messages = cons.get_messages(count=1000,block=False) 

しかし、この例外を発生さ:

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/usr/local/lib/python2.7/dist-packages/kafka/consumer/simple.py", line 285, in get_messages 
    update_offset=False) 
    File "/usr/local/lib/python2.7/dist-packages/kafka/consumer/simple.py", line 320, in _get_message 
    self._fetch() 
    File "/usr/local/lib/python2.7/dist-packages/kafka/consumer/simple.py", line 425, in _fetch 
    raise ConsumerFetchSizeTooSmall() 
kafka.errors.ConsumerFetchSizeTooSmall 

どのように私はこのコードを動作させるために、このパラメータ(ConsumerFetchSize)を修正することができますか?

答えて

0

SimpleConsumerのパラメータmax_buffer_sizeを使用して解決策を見つけました。

作業コードは次のとおりです。

#the size is adherent with my need but is totally arbitrary 
cons = SimpleConsumer(client, group, "my_topic",max_buffer_size=9932768) 
関連する問題