Javaでjsoupを使ってネストされたリンクをロードする

Question

jsoupを介してクローラで作業しています。私はアジアのe-shop https://world.taobao.com/からカテゴリのリンクを表示したいと思います。私のコードは、ページ上のすべてのリンクを見つけることができます：

Elements links = doc.select("a[href]"); 
System.out.println("Total results: " + links.size()); 

しかし、それらのすべてではありません。多くの<div>タグにネストされているカテゴリのリンクのみを表示する必要があります。ここで

私のコードです：

package jsoup; 

import java.io.IOException; 
import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document; 
import org.jsoup.nodes.Element; 
import org.jsoup.select.Elements; 

public class Crawler { 

public static final String CLS_NAME = "Crawler"; 

    public static final String URL_SOURCE = "https://world.taobao.com/"; 

    public static void main(String[] args) throws IOException{ 

     // load Document 
     Document doc = Jsoup.connect(URL_SOURCE).get(); 

     // select only <a> tag with "href" attribute 
     Elements links = doc.select("a[href]"); 
     System.out.println("Total results: " + links.size()); 

     for (Element url: links){ 
      System.out.println(String.format("* [%s] : %s ", url.text(), url.attr("abs:href"))); 

     } 
    } 
} 

あなたはこの問題で私を助けていただけますか？

Answer 1

これは実際にあなたのコードとは関係ありません。

特定のサイトは、JavaScriptを使用してコンテンツの一部を生成します。 Jsoupはサイトの静的な部分だけを取得できるため、簡単にこれをクロールすることはできません。

実際にはブラウザ内でJavaScriptコードを実行するため、Seleniumなどのツールを使用できます。