jsoupを使ってサイトからページへのナビゲート可能なリンクを取得するには？

Question

私は脆弱性スキャナーで後で使用する目的で基本的なクローラーを実装しています。私は接続のためのjsoupを使用している/取得し、HTMLドキュメントの解析。

私は目的のサイト（www.example.com）のベース/ルートを手動で提供し、接続します。

... 
Connection connection = Jsoup.connect(url).userAgent(USER_AGENT); 
Document htmlDocument = connection.get(); 
this.htmlDocument = htmlDocument; 
... 

次に、ページのすべてのリンクを取得します。

この後、私はリンクをループし、サイトのすべてのページへのリンクを取得しようとします。

for (Element link : linksOnPage) { 
       this.links.add(link.absUrl("href")); 
    } 

問題は次のとおりです。私が得るリンクによっては、新しいページへのリンクではなく、ページへのリンクさえないリンクもあります。一例として、のようになったリンク：

• https://example.example.com/webmail

• http://193.231.21.13

• のmailto：私はいくつかの助け聖霊降臨祭が必要なものexample.example@exampl.com

リンクをフィルタリングして、同じルート/ベースサイトの新しいページへのリンクだけを取得します。

Answer 1

これは簡単です。 absUrlは、画像フォーマットやJSやCSSで終わるかどうかを確認します。

if(absUrl.startsWith("http://www.ics.uci.edu/") && !absUrl.matches(".*\\.(bmp|gif|jpg|png|js|css)$")) 
{ 

    //here absUrl starts with domain name and is not image or js or css 
}