Python 2の非同期の複数のWebスクレイパー

Question

私は多くの特殊なWebスクレイパーのレガシーコードベースを持っていますが、最後にsleepステートメントを使ってwhile Trueを実行して、Webサーバーへの同期要求を行っています。このコードベースはPython 2に含まれており、Python 3に移行してPython 3の非同期機能を利用することはできません。理想的には

私は（Pythonの2）以下の

• 非同期Webリクエスト
• 非同期は、CSVへの書き込みをフィーチャーした、単一のパイプラインとして多くの個々のWebスクレイピングスクリプトのこのセットを書き換えたいのですが
• ノンブロッキングsleep各ページが設定された頻度で削られるようにするステートメント

これはPython 3の簡単な問題のようですeasyncioとコルーチンが一般的です。誰かがこれをやる方法を教えてください/ Python 2でこれを行うためのいくつかの参考資料。

ありがとうございます。

Answer 1

あなたができることは、各機能を別のファイルに入れてから、すべての機能を実行できるようにすることです。

import os 
os.system('python file1.py') 
os.system('python file2.py') 
os.system('python file3.py') 
os.system('python file4.py')