Windowsに移行していて、PycharmでScrapyを動作させたいと思っています。私は、追加しようとしている： from scrapy.cmdline import execute
と同様に変更を - /Library/Python/2.7/site-packages/scrapy/cmdline.py. It did not like this. 私の出力はthis- https://
はここ20の開始URLがありますが、私のクモ class Spider(scrapy.Spider):
name = "spider"
start_urls = []
with open("clause/clauses.txt") as f:
for line in f:
start_urls(line)
base_url = "<
私は非常に簡単なScrapy + Splashプロジェクトを開発して、JavaScriptのウェブサイトをクロールします。これは私のコードです： splashtest.py： import scrapy
from scrapy_splash import SplashRequest
class SplashSpider(scrapy.Spider):
name = 'splash_
私は文書化（https://doc.scrapy.org/en/latest/topics/jobs.html）の助けを借りてScrapyでの一時停止/再開をうまく実装しました。例（How can i use multiple requests and pass items in between them in scrapy python）を適用することによって、複数のページを1つのCSVラインの