Parallelでphpからscrapyを実行するには？

Question

私は同時に動作しますので、Scrapyの私の最初のインスタンスがURL1を取得し、それぞれに1つのURLを渡し3クモ、秒を持っているしたいアレイ

[url1,url2,url3, ... , url90] 

で90件のURLを持っています1つはurl2を取得し、3つ目はurl3を取得し、最初のジョブが終了するとurl4を取得します。

私はGNU Parallelを使用しましたが、別のソフトウェアがあればそれを使用します。

私はPHP

exec (for url in urlsTab | parallel -j 3 scrapy crawl mySpider -a url {}) 

Answer 1

から私のscrapyを起動する必要がありますので、私はおそらくこのような何か（未テスト）したいPHPで、このいずれかを試してみました：

$parallel = popen("parallel -j 3 scrapy crawl mySpider","w"); 
foreach($urlsTab as $url) { 
    fwrite($parallel,$url+"\n"); 
} 
close $parallel; 

を