URLを取得するJava JSoupエラー

Question

特定のWebサイトからコンソールに値を取得できるようにするアプリケーションを作成しています。値は<span>の要素です。JSoupを使用しています。

私の挑戦は、このエラーに関係している：ここでは

Error fetching URL

は私のJavaコードです：

public class TestSl { 
    public static void main(String[] args) throws IOException { 
     Document doc = Jsoup.connect("https://stackoverflow.com/questions/11970938/java-html-parser-to-extract-specific-data").get(); 
     Elements spans = doc.select("span[class=hidden-text]"); 
     for (Element span: spans) { 
      System.out.println(span.text()); 
     } 
    } 
} 

そしてここでは、コンソール上のエラーです：

Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL= Java Html parser to extract specific data? at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:590) at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:540) at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:227) at org.jsoup.helper.HttpConnection.get(HttpConnection.java:216) at TestSl.main(TestSl.java:19)

何午前私は間違っていると私はそれを解決することができますか？

Answer 1

セットUser-Agentヘッダ：

.userAgent("Mozilla") 

---

例：

Document document = Jsoup.connect("https://stackoverflow.com/questions/11970938/java-html-parser-to-extract-specific-data").userAgent("Mozilla").get(); 
Elements elements = document.select("span.hidden-text"); 
for (Element element : elements) { 
    System.out.println(element.text()); 
} 

Stack Exchange

Inbox

Reputation and Badges

源：https://stackoverflow.com/a/7523425/1048340

---

おそらく、これが関連している：https://meta.stackexchange.com/questions/277369/a-terms-of-service-update-restricting-companies-that-scrape-your-profile-informa