Jsoupネストされたテーブルには、検索ページの結果テーブル

Question

に取り組んでいないパース私は

検索があるGoogle keyword search（https://www.google.com/finance?q=apple&ei=GEiNV9CILMPksAHJmYXQDg）から結果ページのテーブルからいくつかのデータを解析します。その結果、アップル社などの株価情報が表示されます。私は株価を含むテーブルを解析したい。

HTML構造は次のとおりです。

私のコードは次のとおりです。

public static void testGoogle() throws IOException { 
    Document doc = Jsoup.connect("https://www.google.com/finance?q=apple&ei=GEiNV9CILMPksAHJmYXQDg").userAgent("Mozzila").get(); 

    Elements mainbody = doc.select("div.elastic>" 
      + "div#app.g-section.g-tpl-left-11p4em>div#gf-viewc.g-unit>div.fjfe-content>div.g-wrap>" 
      + "div.g-section.g-tpl-right-1.sfe-break-top-5>div.g-unit>div.g-c.sfe-break-right>" 
      + "div#related > div.id-related-table.gf-table > table)"); 


(Also tried) 
//+ "div#related > div.id-related-table.gf-table > table#cc-table.gf-table)"); 

System.out.println("Html " + mainbody); 
} 

私はのdiv＃関連する部分までの情報を得ることができますが、その後の表にはありませんショー。私は正しいCSSパスを取得していることを確認するためにクロムのCSSのセレクタとXpathのオプションを使用してみました。 jsoupがこのテーブルから解析していないというCSSパスやその他の理由がない場合に備えて、アドバイスをいただければ幸いです。前もって感謝します！

Answer 1

あなたが直面している問題は、JavaScriptを使用してブラウザにロードされた後にページDOMが変更されることです。 Jsoupは元のソースコードを解析して動作します。レンダリングされたDOMを解析することはできません。そのテーブルを解析するには、ページをHTML Unitのようにレンダリングしてから、Jsoupを使用する必要があります。

// load page and capture DOM 
    WebClient webClient = new WebClient(); 
    HtmlPage myPage = webClient.getPage("https://www.google.com/finance?q=apple"); 

    // convert to jsoup document 
    Document doc = Jsoup.parse(myPage.asXml()); 

    // clean up resources 
    webClient.close(); 

    // select desired data 
    Elements rows = doc.select("table#cc-table > tbody > tr"); 

    for (Element row : rows) { 
     String symbol = row.select("td.ctsymbol").text(); 
     String name = row.select("td.ctname").text(); 
     String price = row.select("td.rgt").first().text(); 
     System.out.println(symbol + " " + name + " " + price); 
    } 

出力

AAPL Apple Inc. 104.14 
SNDK SanDisk Corporation 76.18 
MSFT Microsoft Corpora... 56.53 
SSNNF SAMSUNG ELECTRONI... 0.00000 
VZ Verizon Communica... 55.09 
HPQ HP Inc 14.15 
IBM Intl. Business Ma... 161.72 
HTCKF HTC CORPORATION S... 11.82 
SNE Sony Corp (ADR) 30.59 
GOOGL Alphabet Inc 762.63 
WDC Western Digital Corp 53.97