データiが右側に<a href="https://www.hackerearth.com/" rel="nofollow noreferrer">https://www.hackerearth.com/</a> からデータをスクラップしようとしていますjsoup

Question

に欠けているライブイベントがあり私はこのライブイベントのブラウザでソースコードを参照してください.IFし、我々は全体を見ることができますデータ（写真を参照）developer view in chrome

今、これは私のjsoupコードです：出力の

Document doc=Jsoup.connect("https://www.hackerearth.com").get(); 
System.out.println(doc.html()); 

、我々はページのHTMLのすべてが、ライブイベントのdiv要素内のデータのすべてが欠落しているを見ることができます。出力iの に空のdivタグがあります。

<div id="live-events-trigger-data"></div> 

ここでは、このdivタグには巨大なデータがあることがわかります。 どうすれば入手できますか？

Answer 1

あなたは、Webブラウザでページのソースを表示する場合は、最後にその理由が表示されます。

<script> 
$(document).ready(function(){ 
    $('#header-notif-icon-trigger').click(); 
    $('#live-events-trigger').click(); 
    // show kone ge widget if not visited 
     $(window).load(function() { 
      var hackathon_visit_cookie = readCookie('fintech_valley_hackathon_cookie'); 
      if (!hackathon_visit_cookie) { 
       $('#custom_hackathon_widget').show(); 
      } 
     }); 
     $(document).on('click', '#custom_hackathon_widget .hack-link', function(e) { 
      createCookie('fintech_valley_hackathon_cookie', 'true', 180); 
      $('#custom_hackathon_widget').fadeOut('slow'); 
     }); 
}); 
</script> 

あなたはJsoupとJavaScriptコードを実行することはできません。 JavaScriptを実行する場合は、HTMLUnitまたはSeleniumを使用してください。