セラーのアップグレード（3.1 - > 4.1） - ピアによる接続のリセット

Question

昨年はセロリを使用していましたが、従業員は約15名で、1-4の並行性が定義されています。

最近、私たちは今、私たちは労働者のログの各1は、そのようなエラーに発生する可能性がありますどのような任意のアイデアで、次のエラーを持っているV3.1からV4.1

に私たちのセロリをアップグレード？ところで

2017-08-21 18:33:19,780 94794 ERROR Control command error: error(104, 'Connection reset by peer') [file: pidbox.py, line: 46] 
Traceback (most recent call last): 
    File "/srv/dy/venv/lib/python2.7/site-packages/celery/worker/pidbox.py", line 42, in on_message 
    self.node.handle_message(body, message) 
    File "/srv/dy/venv/lib/python2.7/site-packages/kombu/pidbox.py", line 129, in handle_message 
    return self.dispatch(**body) 
    File "/srv/dy/venv/lib/python2.7/site-packages/kombu/pidbox.py", line 112, in dispatch 
    ticket=ticket) 
    File "/srv/dy/venv/lib/python2.7/site-packages/kombu/pidbox.py", line 135, in reply 
    serializer=self.mailbox.serializer) 
    File "/srv/dy/venv/lib/python2.7/site-packages/kombu/pidbox.py", line 265, in _publish_reply 
    **opts 
    File "/srv/dy/venv/lib/python2.7/site-packages/kombu/messaging.py", line 181, in publish 
    exchange_name, declare, 
    File "/srv/dy/venv/lib/python2.7/site-packages/kombu/messaging.py", line 203, in _publish 
    mandatory=mandatory, immediate=immediate, 
    File "/srv/dy/venv/lib/python2.7/site-packages/amqp/channel.py", line 1748, in _basic_publish 
    (0, exchange, routing_key, mandatory, immediate), msg 
    File "/srv/dy/venv/lib/python2.7/site-packages/amqp/abstract_channel.py", line 64, in send_method 
    conn.frame_writer(1, self.channel_id, sig, args, content) 
    File "/srv/dy/venv/lib/python2.7/site-packages/amqp/method_framing.py", line 178, in write_frame 
    write(view[:offset]) 
    File "/srv/dy/venv/lib/python2.7/site-packages/amqp/transport.py", line 272, in write 
    self._write(s) 
    File "/usr/lib64/python2.7/socket.py", line 224, in meth 
    return getattr(self._sock,name)(*args) 
error: [Errno 104] Connection reset by peer 

：形で私たちの仕事：

@app.task(name='EXAMPLE_TASK'], 
      bind=True, 
      base=ConnectionHolderTask) 
def example_task(self, arg1, arg2, **kwargs): 
    # task code 

Answer 1

我々はまた、セロリとの大規模な問題を抱えている...私はちょうど周りに奇妙なアイドルハング/クラッシュの問題を踊る私の時間の20％を費やします私たちの労働者は、それがタスクの数千人をフェッチ結局のところ私たちは、高いworker_prefetch_multiplierと組み合わせて高い同時実行によって引き起こされた同様のケースがあった

ため息との接続をfrackための良い方法です。

そうでない場合は、broker_pool_limitをNoneに設定してブローカプールを無効にしてみてください。

（うまくいけば）助けてくれる簡単なアイデア:-)