Jerichoパーサーでユーザーエージェントを設定する方法

Question

Jerichoのhtmlパーサーで遊んでいましたが、情報を見つけることができず、ユーザーエージェントを設定または変更する方法の例もありません。私は、クラスの構成を見つけたが、それを使用する方法を知らない、他の誰かが私に例を与えることができますか？

私が望むようにウェブサイトを解析することができましたが、ジェリコのパーサーがユーザーエージェントを追加するかどうかはわかりません。あなたが知っているように、私は適切なユーザーエージェントがサイトのコンテンツへのアクセスを禁止するようにしたいと思っています。

ありがとうございます。

Answer 1

上記のコメントに加えて、は常にに従ってください。robots.txtに従ってください。それを除いて、あなたが望むコードはこのように見えるはずです。

 

import java.net.URL; 
import java.net.URLConnection; 
import java.util.List; 

import net.htmlparser.jericho.Element; 
import net.htmlparser.jericho.Source; 

public class HtmlFun { 

    public static void main(String[] args) throws Exception { 
     URL url = new URL("http://www.google.com"); 
     URLConnection conn = url.openConnection(); 
     conn.setConnectTimeout(1000); 
     conn.setReadTimeout(1000); 
     conn.setRequestProperty("User-Agent", "Mozilla"); 

     Source source = new Source(conn); 
     List elems = source.getAllElements(); 
     for(Element elem : elems) { 
     System.out.println(elem); 
     } 
    } 
} 
 

ファイアウォールの問題のために仕事からは実行できませんが、これはうまくいくはずです。そうでない場合、同様のことがトリックを行います。