0
私は、特定のウェブサイトのすべての内部リンクをクロールする治療プロジェクトを持っています。これはうまくいきましたが、クロールをウェブサイトの特定のセクションに限定したい場合がいくつかあります。ウェブサイトの特定のセクション（例： http://www.domain.com/section/
たとえば、銀行が投資家情報のための特別なセクションを持っていると考えることができます。 http://www.bank.com/investors/
上記の例では、http://www.bank.com/investors/のすべてがクロールされます。例えば、http://www.bank.com/investors/something/、http://www.bank.com/investors/hello.html、http://www.bank.com/investors/something/something/index.php
は、私はURLをスキャンし、それが（すなわち、それはありません/投資家/）私の要件を満たしていない場合は、パスをしてでもparse_url上のいくつかのハックのコードを書くことができる知っているが、それはそうです恐ろしい。
これを行うには良い方法がありますか？
ありがとうございます。