パイソン：インデックス

Question

せずに、ウェブサイトのすべてのURLを一覧表示することは、私が個別に以下のURLのそれぞれにアクセスすることができます。http://www.example.com/{.*}.html

メインページhttp://www.example.comへのアクセスが何らかの形で制限されていると私は表示されたエラーページにリダイレクトしていますが。 Erreur 403 - Refus de traitement de la requête (Interdit - Forbidden)。

そのドメインでホストされているHTMLページのすべてのURLを一覧表示する方法はありますか？

Answer 1

など）を使用してウェブサイトをクロールするのが最善の方法です。ブライアンのおかげで、その下にホストされているアクセス可能なHTMLページのリストからクロールを開始しました。ドメイン。

# scrap.py 

from scrapy.spiders import CrawlSpider, Rule 
from scrapy.linkextractors import LinkExtractor 

class MySpider(CrawlSpider): 
    name = 'example.com' 
    allowed_domains = ['example.com'] 
    start_urls = [ 
     'http://www.example.com/***.html' # Accessible URL 
    ] 

    rules = (
     Rule(LinkExtractor(allow=('\.html',)), callback='parse_item', follow=True), 
    ) 

    def parse_item(self, response): 
     print response.url 

そして：

$ scrapy runspider scrap.py > urls.out 

Answer 2

短い答えはノーです。ディレクトリを一覧表示するように、そのドメイン内のすべてのHTMLページを一覧表示することはできません。ウェブサイトのrobots.txtで許可されているとすれば、ウェブクロールモジュール（http://scrapy.org/