Jsoupが完全なHTMLページをロードしていない、部分的にしかロードしない

Question

例でJsoupを学習しようとしています。非同期タスクでWebサイトのURLをロードしようとしています。しかし、完全なHTMLページの代わりに部分的にしかロードしていません。ヘッダー、フッターなどのコンポーネントをいくつか削除して、WebViewに表示させたいと思います。わからない欠落しているかもしれないもの：

オプション1：

doc = Jsoup.connect("https://jsoup.org/discussion") 
        .header("Accept-Encoding", "gzip, deflate") 
        .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0") 
        .maxBodySize(0) 
        .get(); 

オプション2：

  doc = Jsoup.connect("https://jsoup.org/discussion").maxBodySize(0).timeout(50000).get(); 


class PageLoader extends AsyncTask<String, Void, Boolean> { 

    @Override 
    protected Boolean doInBackground(String... params) { 
     Document doc = null; 

     try { 
      doc = Jsoup.connect("https://jsoup.org/discussion").maxBodySize(0).timeout(50000).get(); 
      Logging.InfoLog(doc.toString()); 

     } catch (IOException e) { 
      e.printStackTrace(); 
     } 

     return null; 
    } 

    @Override 
    protected void onPreExecute() { 
     super.onPreExecute(); 
    } 

    @Override 
    protected void onPostExecute(Boolean aBoolean) { 
     super.onPostExecute(aBoolean); 
    } 
} 

Answer 1

多くのWebページのロードを、追加コンテンツをレンダリング

私は複数のオプションを試してみました非同期JavaScript呼び出しにより、の後にが呼び出されます。 JSoupはページの最初のHTMLだけを返します。

コンテンツを動的に読み込んでレンダリングするページを処理する必要がある場合は、htmlunitなどの異なるツールセットが必要ですが、htmlunitはバックエンドコードでのみ機能します。