Pythonプロジェクト内でScrapyクロールを取得するにはどうすればよいですか？

Question

プライベートの[メール、パスワード]のカップルから公開URLアドレスを取得するために、セレンを使用するように私は個人的なプロジェクトをしました。

私はこのURLに情報を保存したいのですが、私はこのツールでどのようにできるかを知るためにScrapyチュートリアルに従いました。しかし、MyScrapClass.crawl()のようなPythonプロジェクトの中でクロールを起動する方法はありますか？scrapy crawl MyScrapProject？ scrapy websiteから取られたPythonスクリプト内からscrapyを実行するための

Answer 1

使用CrawlerProcessまたはCrawlerRunnerクラス..

http://doc.scrapy.org/en/latest/topics/practices.html

例：

import scrapy 
from scrapy.crawler import CrawlerProcess 

class MySpider(scrapy.Spider): 
    # Your spider definition 
    ... 

process = CrawlerProcess() 
process.crawl(MySpider) 
# the script will block here until the crawling is finished 
process.start()