pythonとzeromqでタスクを配布する

Question

私はpythonとzeromqを使って動作するアプリケーションを持っています。私はそれを最適化したいと思います。

簡単に言えば、マスターノードはすべての作業者（約200人）に同じ要求を送信し、次に回答を収集します。答えに基づいて、1つのノードにメッセージを戻し、ノードは応答します。

今、私は非常に単純なパターンを実装しました。各作業者には1つのREPソケットがあり、サーバーにはREQソケットのリストがあります。サーバーは、一般的なメッセージを送信するすべてのソケットを反復し、すべてのソケットを反復して応答を収集します。最後に、サーバーは回答に基づいて1人のワーカーを選択し、メッセージを送信して応答を待ちます。

これはもちろん、かなり遅いです。最も遅い部分は同じメッセージを200回送信しています。収集も遅いです。私がタスクを配布し、回答を収集するために見つけた解決策は、私が必要とするものではない負荷分散を行います。私は各作業員がメッセージを受け取り応答する必要があります。

この状況ではどのようなパターンが推奨されますか？

ありがとうございました

Answer 1

私はzmqを知らないです。 3140

を送信：*（約200）

マスターPUBのバインドが

マスターノードのすべての労働者に同じ要求を送信します。ここでは動作しない場合がありますパターン、ちょうど始めるためにです労働者は、SUB MASTERHOSTを接続する：3140は答えに

を収集し、その後にrecv

をSUBSCRIBE 3141は

マスターPULLバインド*送信：

ワーカーPUSHがMASTERHOSTを接続する回答に基づいて3141のrecv

を、それが戻って一つのノードにメッセージを送信し、バックノードの答え。

マスターREQ workerhost接続：3142センドのrecv

ワーカーREPバインド*：各ワーカーは異なる仕事、パブ/サブ文句を言わない作業を必要とする必要がある場合は3142のrecvが

Answer 2

を送ります。あなたが必要とするのは、ワーカープール実装です。ラウンドロビン形式のジョブをプッシュアウトするか（サーバー上のプッシュソケットを使用し、各クライアントからプルします.zeromqはラウンドロビンを実行します）、または各ワーカーがサーバーからジョブを要求します。ジョブは少なくとも最小限の複雑さを要し、ジョブ間の分散は高く、より良いアプローチです。そのホームページで、ネット上のzeromqガイドの多くの例があります。

• http://zguide.zeromq.org/page:all（paronoid海賊パターンを見て）
• http://blog.garambrogne.net/post/2010/10/23/simple-python-work-queue-with-zeromq
• https://github.com/marklit/zeromq-worker-queue

具体的な実装にも依存しますジョブを確実に処理する必要があるかどうかを判断します。