重複のない大文字と小文字を区別しないURLのクロール

Question

http://www.example.com/ABC/1は、http://www.example.com/abc/1と同じページであるように、大文字と小文字を区別しない、一連のURLを大文字と小文字を区別せずにクロールしています。私のCrawlSpiderでは、私は次のようになります実行した：両方のバリアントをピックアップいる

Rule(LinkExtractor(allow=('(?i)http://www.example.com/abc/\d+',)) 

を、私は重複フィルタがそれらを別々のページであることを考慮するため、二重のページをクロールしてしまいます。

RFPDupeFilterをサブクラス化せずにDUPEFILTER_CLASSの設定を変更せずに、1つのバリアントまたは他の（ただし両方ではなく）を訪問するように強制する簡単な方法はありますか？それとも最善の解決策ですか？

Answer 1

Scrapyのルールクラスには、小文字へのすべてのリンクを正規化するために使用できる属性process_linksがあります。要旨では：

def links_as_lower(links): 
    for link in links: 
     link.url = link.url.lower() 
     yield link 

Rule(LinkExtractor(allow=('(?i)http://www.example/abc/\d+',), process_links=links_as_lower) 

scrapyのルールについての完全なドキュメントは、私は答えとしてこれを受け入れるつもりですが、この答えを探して、誰の参考のために、process_links` `で撮影した機能がかかるhere