Python Multiprocess with I/O

Question

私はメッセージを送ることができる連続して実行されているpythonスクリプトを持っています。それはメッセージの内容を取り、いくつかのAPIで検索を実行し、その検索結果から返信します。現在、私はasync/awaitを使用していますが、これは動作していますが、何が起こっているかは、メッセージがすでに動作している間にメッセージを受信すると、メッセージを開始するまで待っています。それが受け取ったもの。

私は一度に複数のメッセージを処理できるように設定したいと思っています。待ち時間の大半はAPIが応答するのを待っているからです。マルチプロセッシングは私がここで使用すべきものですか？もしそうなら、メッセージが追加されるまでマルチプロセッシング機能をアイドル状態にしてから、そのメッセージをマルチプロセッシング機能に送り出す方法があります。私はキューを使用しなければならないようですが、ドキュメンテーションの大部分は、キューが終わったらすぐに処理を終了します。必要なことの1つは、特定の量のプロセス（たとえば4つのプロセス）があり、4つ以上のメッセージがある場合、余分なメッセージを格納し、解放された次のプロセスに追加することです。このような

何か：（本当に悪い擬似コード）

def runOnMessageReceive(message) 
    <run a regex here and extract the text i want to search for> 
    addToSearchQueue(text) 

def addToSearchQueue(text) 
    <here is where it would add it to the waiting queue and run it when it has an 
    open process> 
    process.run(searchAndPrint(text)) 

def searchAndPrint(info): 
    reply = Module.searchOnlineAPI(info) 
    Module.replyToMessage(reply) 

おかげ

Answer 1

あなたはかなり正確に "ブロッキング" されたものを見つけるために試してみてください。 asyncioのポイントはまさにあなたが望むもので、別のものを待っている間に保留中のタスクをブロックしないようにします。マルチプロセッシングやマルチスレッド化はここに行く方法ではないようです。 asyncioの適切な使用は、この種のユースケースのためのマルチプロセッシングよりも桁違いに優れています。何かがハングアップすると、asyncio（ブロッキング関数の呼び出しなど）を誤って使用しているか、メッセージキューのQoSによって制限されています（おそらく設定可能です）。