2016-04-26 22 views
0

最初に私はHtmlUnitの初心者です。 私はウェブページを取得し、その内容を解析しようとしています。 URL:https://secure.fattal.co.il/BE_Results.aspx?Lang=heb&In=2016-08-07&Out=2016-08-11&Region=2&Rooms=1&Ad1=2&Ch1=0&Inf1=0HtmlUnitはページを取得できませんでした - javascriptブロック

が、私は以下のjavascriptの内容になってしまった:

<html><head><meta charset="utf-8"></head><body><script>window.rbzns = {fiftyeightkb: 43200000, days_in_week : 1};</script><script src="//d1a702rd0dylue.cloudfront.net/js/sugarman/v7/flat.js"></script><script>rbzns.challdomain=".fattal.co.il"; rbzns.ctrbg="NMdHaCamRWvRkFxSyeq856yW5EEmzuHN32UH9RoO3YoeT4HIU++m8k1QIpK0EQqM2RF/9vvBg5S4A3I18QPa4mRMEb+S4Fh3ZVljis2xiCe2tYg/zlUJMN5kVMgLQKw/mbEk8L77gcYBrz56tLIPxg==";rbzns.rbzreqid="fc167e1a3134363136353639343033970795be87d166"; winsocks(true);</script></body></html> 

注:私はjsoupパーサを使用してURLを取得するために始めたが、応答は同じjavascriptのでした。

JavaScriptのコンテンツでは、HtmlUnitのようなヘッドレスブラウザを使用する必要があります。

しかし、HtmlUnitを使用してページを取得しても、JavaScriptのコンテンツは再び表示されます。私は、任意の具体的な答えずに、解決のためにすべてを検索

String url = "https://secure.fattal.co.il/BE_Results.aspx?Lang=heb&In=2016-08-07&Out=2016-08-11&Region=2&Rooms=1&Ad1=2&Ch1=0&Inf1=0"; // hard coded just for example 
webClient = new WebClient(); 

// Get the first page 
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); 

webClient.getOptions().setThrowExceptionOnScriptError(false); 
webClient.getOptions().setRedirectEnabled(true); 
webClient.setJavaScriptTimeout(100000); 
webClient.waitForBackgroundJavaScript(100000); 

page = webClient.getPage(url); 
System.out.println(page.getWebResponse().getContentAsString()); 

:以下

は、の割合です。

助けていただければ幸いです。

答えて

0

わかりました。

javascriptのソースは、私が投稿:

<html><head><meta charset="utf-8"></head><body><script>window.rbzns = {fiftyeightkb: 43200000, days_in_week : 1};</script><script src="//d1a702rd0dylue.cloudfront.net/js/sugarman/v7/flat.js"></script><script>rbzns.challdomain=".fattal.co.il"; rbzns.ctrbg="NMdHaCamRWvRkFxSyeq856yW5EEmzuHN32UH9RoO3YoeT4HIU++m8k1QIpK0EQqM2RF/9vvBg5S4A3I18QPa4mRMEb+S4Fh3ZVljis2xiCe2tYg/zlUJMN5kVMgLQKw/mbEk8L77gcYBrz56tLIPxg==";rbzns.rbzreqid="fc167e1a3134363136353639343033970795be87d166"; winsocks(true);</script></body></html> 

は、要求が、ブラウザではなく、ボットやクローラのいくつかの並べ替えから来たかどうかをチェックするために知られているスクリプトです。 HtmlUnitは(部分的に)JavaScriptをサポートしているので、Selenium.webdriver + phantomJSで動作するようにコードを変更しました。