Scrapyのコードを読もうとしています。 という語句,クローラおよびスパイダーは混乱しています。例えばSclerの文脈におけるスクレーパー、クローラーとスパイダーの違い
scrapy.core.scraper
scrapy.crawler
scrapy.spiders
誰でも意味やScrapyの文脈におけるこれらの用語の違いを説明してもらえますか?前もって感謝します。
Scrapyのコードを読もうとしています。 という語句,クローラおよびスパイダーは混乱しています。例えばSclerの文脈におけるスクレーパー、クローラーとスパイダーの違い
scrapy.core.scraper
scrapy.crawler
scrapy.spiders
誰でも意味やScrapyの文脈におけるこれらの用語の違いを説明してもらえますか?前もって感謝します。
クローラ(scrapy.crawler
)は、Scrapy APIの主要なエントリポイントです。これは、すべてのScrapyコアコンポーネントへのアクセスを提供し、拡張機能をScrapyにフックするために使用されます。
Scraper(scrapy.core.scraper
)コンポーネントは、レスポンスの解析とその情報の抽出を行います。それはエンジンから実行されており、あなたのクモを実行するために使用されています。
scrapy.spiders
サイトマップベースのクロールのために一緒にルールセットベースのクロールのためCrawlSpiderのようなボックス(のうち利用できるいくつかの一般的なクモとベースSpider
実装(あなたのクモを書くために使用すること)、SitemapSpiderを含むモジュールであります、XMLフィードをクロールするためのXMLFeedSpider)。公式ドキュメントページで利用できる
詳細情報:
http://doc.scrapy.org/en/latest/topics/spiders.html?highlight=crawlspider#spiders http://doc.scrapy.org/en/latest/topics/api.html?highlight=scrapy.crawler#module-scrapy.crawler
が「応答を解析し、情報を抽出する」:その蜘蛛はありますか? –
はい、スクレーパーコンポーネントはスパイダーを実行する責任があります。 – bosnjak