Asyncio RuntimeError：イベントループが終了しました

Question

Asyncioとaiohttpライブラリを使用してたくさんのリクエスト（〜1000）を作成しようとしていますが、私は多くの情報を見つけることができないという問題に遭遇しています。

このコードを10個のURLで実行すると、正常に動作します。私は100 + URLでそれを実行すると、それは壊れて、私にRuntimeError: Event loop is closedエラーを与える。

import asyncio 
import aiohttp 


@asyncio.coroutine 
def get_status(url): 
    code = '000' 
    try: 
     res = yield from asyncio.wait_for(aiohttp.request('GET', url), 4) 
     code = res.status 
     res.close() 
    except Exception as e: 
     print(e) 
    print(code) 


if __name__ == "__main__": 
    urls = ['https://google.com/'] * 100 
    coros = [asyncio.Task(get_status(url)) for url in urls] 
    loop = asyncio.get_event_loop() 
    loop.run_until_complete(asyncio.wait(coros)) 
    loop.close() 

スタックトレースはhereです。

私はこれ以上数時間頭を叩いていたので、助けや洞察力があれば幸いです。明らかに、これはまだ開いているはずのイベントループがクローズされていることを示唆していますが、その可能性はわかりません。

Answer 1

あなたが正しくて、loop.getaddrinfoはThreadPoolExecutorを使用してsocket.getaddrinfoをスレッドで実行します。

asyncio.wait_forタイムアウトを使用しています。つまり、res = yield from asyncio.wait_for...は、4秒後にasyncio.TimeoutErrorになります。次に、get_statusコルーチンはNoneを返し、ループが停止します。その後でジョブが終了すると、イベントループでコールバックをスケジュールしようとし、すでに閉じているので例外が発生します。

Answer 2

バグがhttps://github.com/python/asyncio/issues/258 として提出されています。

すぐに回避策として、カスタム実行プログラムを使用することをおすすめします。あなたのプログラムを終了する前に

loop = asyncio.get_event_loop() 
executor = concurrent.futures.ThreadPoolExecutor(5) 
loop.set_default_executor(executor) 

executor.shutdown(wait=True) 
loop.close()