2015-12-14 6 views

答えて

3

クローラscrapy.crawler)は、Scrapy APIの主要なエントリポイントです。これは、すべてのScrapyコアコンポーネントへのアクセスを提供し、拡張機能をScrapyにフックするために使用されます。

Scraperscrapy.core.scraper)コンポーネントは、レスポンスの解析とその情報の抽出を行います。それはエンジンから実行されており、あなたのクモを実行するために使用されています。

scrapy.spidersサイトマップベースのクロールのために一緒にルールセットベースのクロールのためCrawlSpiderのようなボックス(のうち利用できるいくつかの一般的なクモとベースSpider実装(あなたのクモを書くために使用すること)、SitemapSpiderを含むモジュールであります、XMLフィードをクロールするためのXMLFeedSpider)。公式ドキュメントページで利用できる

詳細情報:
http://doc.scrapy.org/en/latest/topics/spiders.html?highlight=crawlspider#spiders http://doc.scrapy.org/en/latest/topics/api.html?highlight=scrapy.crawler#module-scrapy.crawler

+0

が「応答を解析し、情報を抽出する」:その蜘蛛はありますか? –

+0

はい、スクレーパーコンポーネントはスパイダーを実行する責任があります。 – bosnjak

関連する問題