深いクロールが動作しない

Question

現在、私は、スクラップを使用して小さなWeb廃棄プロトタイプを作成しようとしています。 私の現在の問題は、リンク抽出とそれに続くものです。

私はページを探索し、ページへのリンクを見つけようとしていますが（画像やその他のコンテンツは現在ありません）、正しくパラメータを設定する方法はわかりません。

これは私が使用しているクモです：

class DefaultSpider(CrawlSpider): 

    name = "default" 
    session_id = -1 
    rules = [Rule(LinkExtractor(allow=()),callback='parse', follow=True)] 

def start_requests(self): 
    #not relevent code that gives an URL list to be scrawled 
    for url in listurl: 

    #make scrappy follow only the current domain url. 
    self.rules[0].allow=url 
     yield scrapy.Request(url=url, callback=self.parse) 

def parse(self, response): 
    page = Website(response.url,response.text) 
    DBInterface.store(page) 

をページ内のすべてのリンクを見つけるように見えるdoesntのクモ。私はそれが正しい方法ではないと思う。私は、parseメソッドの代わりにコールバックとして別の関数を試しました。 （あまりにもルールのコールバックパラメータを変更）

def processlinks (self,response) 
    page = Website(response.url,response.text) 
    DBInterface.store(page) 

編集：適切な理解のための更新コード+タイトル...

Answer 1

CrawlSpiderは（ところでそれらを抽出していない）リンクをたどるためにrulesサポートを追加するクモの特別な種類です。仕事へのこのクモの場合

、あなたのリンクを得ることについてcan't overridestart_requestsとparse方法

、私が抽出クリーナーを作るLinkExtractorを使用することをお勧めします：

scrapy

def find_links(self, response): 
    for link in LinkExtractor().extract_links(response): 
     logging.info('Extracting new url' + link.url) 
     yield scrapy.Request(link.url, callback=self.insert_linkDB) 

からLinkExtractorの最新情報があります。in the documentation

Answer 2

CrawlSpiderは、後でLinkExtractorで抽出するものと同じ方法で初期URLを処理するのがやや難しいです。問題は、はが手動で開始するすべての要求に対してカスタムコールバックを定義してはならないことです。LinkExtractorが機能しないようにするためです。一方、最初のURLを含め、クロールされたURLごとに何らかのアクションを実行する必要があります。 LinkExtractorで抽出されたURLの場合、ルールを定義するときにコールバックを提供できますが、これらのルールを使用して抽出されない初期URLでは明らかに機能しません。この目的のために、Scrapyは別の方法を提供しています。これを無効にする必要があります。だからあなたの場合には、次はあなたがやりたいことになります。

class DefaultSpider(CrawlSpider): 

    name = "default" 
    session_id = -1 
    rules = [Rule(LinkExtractor(allow=()),callback='parse_results', follow=True)] 

def start_requests(self): 
    #not relevent code that gives an URL list to be scrawled 
    for url in listurl: 

    #make scrappy follow only the current domain url. 
    self.rules[0].allow=url 
     yield scrapy.Request(url=url) 

def parse_start_url(self, response): 
    self.parse_results(response) 

def parse_results(self, response): 
    page = Website(response.url,response.text) 
    DBInterface.store(page)