同じコンテンツ（例：/商品）を持つクロールURLをクロールする場合

Question

同じ条件で複数のページをスクロールするにはどうすればよいですか？例：商品を含まない電子商取引サイトのすべての商品ページを特定したい写真（か何か）

class SomewebsiteProductSpider(scrapy.Spider): 
name = "test" 
allowed_domains = ["test.com"] 

start_urls = [test.com/product]多くのeamplesで

が開始URLは、常に単一のページに対応して見I've。

可能でしょうか？ありがとう！

Answer 1

ウェブページのすべての項目を識別したい場合は、1ページ（通常はサイトのメインページ）から開始し、そこからクロールを開始することをお勧めします。興味のあるすべてのカテゴリがリストされているサイトのページを使用したいとします。

スパイダーでは、スパイダーがどのリンクを解析し、どのページを解析して情報を返すべきかを定義できます。

それは可能ですし、治療はそのための素晴らしいツールです。