リダイレクトされたURLを詐欺でクロールする

Question

scrapyを使用してwww.mywebsite.comをクロールしようとしています。

www.mywebsite.comは、無料のホストであるwww.mywebsite.freehost.comでホストされています。無料のホストを有料ドメインにリダイレクトしています。

ここでの問題は、scrapyがリダイレクトを無視し、最終結果が0ページが削られてしまうことです。

リダイレクトされたURLをクロールするために私はそれを必要としていると私はどのように言いますか？私は、ログのみリクエストがフィルタリングされていることを示している（Facebookのページなどのような）ウェブサイトの外につながる他のURL

2016-11-27 14:48:42 [scrapy] INFO: Spider opened 
2016-11-27 14:48:42 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 
2016-11-27 14:48:42 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023 
2016-11-27 14:48:44 [scrapy] DEBUG: Crawled (200) <GET http://www.mywebsite.com/> (referer: None) 
2016-11-27 14:48:44 [scrapy] DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net> 
2016-11-27 14:48:44 [scrapy] INFO: Closing spider (finished) 
2016-11-27 14:48:44 [scrapy] INFO: Dumping Scrapy stats: 

Answer 1

それがリダイレクトされたURLをクロールする必要はありません：

DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net> 

そのドメインfreehost.netをallowed_domainsのリストに追加するか、スパイダーからallowed_domainsを削除してすべてのドメインを許可します。