0

フォーマットのデータをクロールしようとしました。 1)CARTを追加 プロセスはそれぞれ、すべてのためにない上記SO 2)閲覧CART 3)を取り外し、それが完全に作動が、マルチカラー製品のためのものである単色製品のCARTマルチスレッドを停止するにはどうすればよいですか?

、Scrapyは、マルチスレッドを取り製品。私はscrapyは次のように要求したい

1) 製品A - カートを見る 製品A - - CART

2を削除) 製品B - CART 製品Aをカートに 製品Bを追加 - カートを見る 製品B - CART

3を除去) 製品C - VIEW CART 製品 - CART 製品Cを追加C - REMOVE CART

私は(コールバック中の優先度)も使用していますが、運はありません。援助は高く評価されます。前もって感謝します。

+0

は私達にあなたのコード – Umair

答えて

0

CONCURRENT_REQUESTS1に設定することができます。

documentationに記載されているように:

CONCURRENT_REQUESTS
デフォルト:16
Scrapyダウンローダにより行われる(すなわち、同時に)並行要求の最大数。

+0

http://stackoverflow.com/questions/42020851/how-stop-multithreading-or-how-to-give-request-one-by-one-in-scrapy –

+0

のhttpを表示します: //stackoverflow.com/questions/42020851/how-stop-multithreading-or-how-to-give-request-one-by-one-in-scrapy。私のコードはパスの上になります –

+0

私はcustom_settingsでCONCURRENT_REQUESTSを試しましたが、プロダクトの親の色のURLだけではなく、製品の子の色のURLのためにも機能します。 –

関連する問題