完全に完全なHTMLが生成されたページをJavaでロードする方法はありますか？

Question

私は一部のデータを抽出できるようにウェブページ全体を取得しようとしています。私はHtmlUnitを使用しています（または使用しようとしています）。

私が得たい結果は、すべてのソースから生成された完全に生成されたコードです。私はソースコードを望んでいません。私はchromeの 'inspect element'ウィンドウのような結果が欲しい。何か案は？これも可能ですか？ 別のライブラリを使用する必要がありますか？

私は役に立たなかったサンプルコードを投稿しています。

webClient = new WebClient(BrowserVersion.CHROME); 
final HtmlPage page = webClient.getPage("https://www.bet365.com"); 
System.out.println(page.asXml()); 

Answer 1

あなたは（それがのように聞こえる何をしている）のウェブサイトのサーバー/データベースからすべてのデータを抽出することを意味している場合、それらのファイルが保護されているので、それはできません。あなただけのソースコードを使用する場合は

、このソリューションにHow do you Programmatically Download a Webpage in Java

Answer 2

ページを試してみてください。 getWebResponse().getContentAsString()は、サーバーから返されたコンテンツを返します。

ページ。 asXml()は、JavaScriptの変更後にページのXHTMLを返します。

ページ。 save(File)は依存関係を持つページを再帰的に保存します。私はソースcode.Iがしたいchrome.Notで「要素を検査」ウィンドウのような結果が欲しい

new WebConnectionWrapper(webClient) { 

    public WebResponse getResponse(WebRequest request) throws IOException { 
       WebResponse response = super.getResponse(request); 
     if (request.getUrl().toExternalForm().contains("my_url")) { 
      String content = response.getContentAsString(); 

      // change or save content 

      WebResponseData data = new WebResponseData(content.getBytes(), 
       response.getStatusCode(), response.getStatusMessage(), response.getResponseHeaders()); 
      response = new WebResponse(data, request, response.getLoadTime()); 
     } 
     return response; 
    } 
};