1クォート内のhrefを持つクロールリンク

Question

私はScrapyを使っていくつかのウェブサイトをクロールしていますが、には二重引用符ではなくhref=' 'のhref=" "というリンクが付いています。

すべてのリンクをallow()でクロールできるようにすると、結果には二重引用符で結ばれたリンクのみが含まれます。どうすればこの問題を解決できますか？

Answer 1

scrapy.contrib_exp.crawlspider.rules.RuleとSgmlLinkExtractorをお使いですか？私は一重引用符や二重引用符は重要ではないと思います。あなたがしたい場合は、すべてのリンクを抽出し、その特定のルールに関連付けられる、=（）が許す限り

Rule(SgmlLinkExtractor(allow=('.*',)), callback='parse_item') 

を使用する空のタプルを指し、したがって何のURLがマッチしません。