同じ頭のURLからすべてのページをクロールする方法は？

Question

私は同じヘッドのURL

元からのすべてのページをクロールしたい：「http://www.htc.com/tw/XXXXXXX」 Hanvどのような方法は、行うには？

ありがとうございました。

Answer 1

ほとんどのWebサーバーではディレクトリリストが無効になっているため、これは機能しません。 すべてのページをクロールする方法はありません。ただし、メインページにリンクされているすべてのサブページをクロールできます。たとえば、そのサイトで見つかったすべてのリンクの配列を作成し、同じドメイン名のものをフィルタリングすることができます。しかし、これはどこにもリンクされていないディレクトリを見つけることはできません。