2016-03-20 24 views
0

プライベートの[メール、パスワード]のカップルから公開URLアドレスを取得するために、セレンを使用するように私は個人的なプロジェクトをしました。Pythonプロジェクト内でScrapyクロールを取得するにはどうすればよいですか?

私はこのURLに情報を保存したいのですが、私はこのツールでどのようにできるかを知るためにScrapyチュートリアルに従いました。しかし、MyScrapClass.crawl()のようなPythonプロジェクトの中でクロールを起動する方法はありますか?scrapy crawl MyScrapProjectscrapy websiteから取られたPythonスクリプト内からscrapyを実行するための

答えて

0

使用CrawlerProcessまたはCrawlerRunnerクラス..

http://doc.scrapy.org/en/latest/topics/practices.html

例:

import scrapy 
from scrapy.crawler import CrawlerProcess 

class MySpider(scrapy.Spider): 
    # Your spider definition 
    ... 

process = CrawlerProcess() 
process.crawl(MySpider) 
# the script will block here until the crawling is finished 
process.start() 
関連する問題