Pythonでトリガされたタスクやイベントを非同期でブロックする方法を教えてください。

Question

私は私の問題のサンプルコードを書いています。入力メッセージは固定チャンクに分割され、意図的なランダム遅延を使用して混合されます。ただし、sleep()はブロックされており、次のタスクは実行されません。これは単一のスレッドで可能ですか、マルチスレッドに頼らなければなりませんか？

from random import randint 
from time import sleep 

def delay_message(split_message, delay): 
    #sleep(delay) #this blocks 
    print("Shuffled message: {} and time: {}". format(split_message, delay)) 

def main(): 
    message = raw_input('Input: ') 

    #padding 
    difference = len(message) % 5 
    message=message.ljust(len(message)+5-difference, "0") 

    for i in range(0, len(message), 5): 
     delay = randint(0, 5) 
     split_message = message[i:i+5] 
     delay_message(split_message, delay) 

if __name__ == "__main__": 
    main() 

Answer 1

sleep実際に実行スレッドをブロックします。

geventのようなライブラリを使用して非ブロック化することは可能です。 Geventはまたtime.sleepにパッチを当て、それを非ブロッキングにして、それ自身のノンブロッキングスリープも持っています。それはまた、ソケット、時間、スレッドなど、非ブロック化するために、Python標準ライブラリ全体をパッチすることができます。documentationを参照してください。

上記の例ではそうのようなgeventと同時に協同行うことができます。

from random import randint 
from gevent import sleep, spawn, joinall 

def delay_message(split_message, delay): 
    # Gevent's sleep yields the event loop for 
    # duration of delay rather than blocking the running thread 
    sleep(delay) 
    print("Shuffled message: {} and time: {}". format(split_message, delay)) 

def main(): 
    message = raw_input('Input: ') 

    #padding 
    difference = len(message) % 5 
    message=message.ljust(len(message)+5-difference, "0") 

    greenlets = [] 
    # This will create len(message)/5 number of greenlets, 
    # which corresponds to the concurrency level. 
    # Greenlets all run under one thread so there is no CPU 
    # overhead here. 
    for i in range(0, len(message), 5): 
     delay = randint(0, 5) 
     split_message = message[i:i+5] 
     greenlets.append(spawn(delay_message, split_message, delay)) 
    # Wait for all greenlets to complete, raise any exceptions 
    joinall(greenlets, raise_error=True) 

if __name__ == "__main__": 
    main() 

制約は、彼らがイベントループおよび他のすべてのgreenletsをブロックするようCPUバウンドのタスクがgreenletsで実行することができないということです。

グリーンレットで実行されているものがソケットやジェネレータでメッセージを渡すように、入出力バインドされている限り、他のグリーンレットなど、グリーンレットが適切です。 CPUバウンドタスクの場合は、ネイティブスレッドまたは複数のプロセスを使用します。

asyncio（Py3のみ）などの代替手段があります。 GeventはPy2と3と互換性があり、ネイティブコード拡張を利用して非常に高いパフォーマンスを発揮します。