他のウェブページにリダイレクトされるウェブページのコンテンツを取得する

Question

ウェブページのコンテンツをクロールしたい - http://www.pgmfi.org/しかし、ページにアクセスすると、ページにリダイレクトされます。http://twiki.pgmfi.org/bin/view

jsoupまたはcrawler4jを使用してURL（http://www.pgmfi.org/）のコンテンツをクロールしようとしましたが、次のコンテンツがあります。

Looking for PGMFI.ORG Home ? Please wait redirecting to: http://twiki.pgmfi.org 

しかし、私はそのリダイレクトのWebページ（http://twiki.pgmfi.org/bin/view）からWebページに関する詳細な情報を取得したいです。 jsoupを使って簡単なコードを実行すると、次のようなことが分かりました。

String url = "http://www.pgmfi.org/"; 

Response response = Jsoup.connect(url).followRedirects(false).execute(); 
System.out.println(response.statusCode() + " : " + response.url()); 

//check if URL is redirect? 
System.out.println("Is URL going to redirect : " + response.hasHeader("location")); 
System.out.println("Target : " + response.header("location")); 

出力：

200 : http://www.pgmfi.org/ 
Is URL going to redirect : false 
Target : null 

ので、リダイレクトは明らかに単純ではありません。私の質問 - 何らかの方法があります、私はHTMLの本文を解析せずにページがリダイレクトされているURLを取得できますか？

私は、crawler4jを使用する解決法を推奨します。 jsoupの解決策でさえ私にとっては大丈夫です。

Answer 1

crawler4jは、meta-refreshからのURLの抽出をサポートしていません。ただし、crawler4jはそれぞれのメタタグを提供します（HTMLParseDataを参照）。visit(...)メソッドを拡張してFrontierオブジェクトにWebCrawlerというオブジェクトに抽出されたURLを追加することができます。schedule(...)。

Frontierは、WebCrawlerでprivateアクセス権しか持たないため、具体的なサブクラスでは使用できません。これを変更するには、アクセス修飾子を変更するために（a）それをforkするか、（b）Reflection APIを使用する必要があります。

もう1つの方法は、公式問題追跡ツールhereで問題を開くことです。