リダイレクトを回避する方法

Question

私はクローラで作業しており、リンク "http://devonline.com/"をダウンロードしようとしています。私は同じリンク上でリダイレクトとコード301を得るすべての時間。

このリダイレクトを回避してコンテンツを取得する方法を教えてください。あなたがすることはできません

String request 
     = "GET " + file 
     + (file.endsWith("robots.txt") ? " HTTP/1.0\r\n" : " HTTP/1.1\r\n") 
     //    " HTTP/1.1\r\n" 
     + "User-Agent: " + CrawlerConfig.USER_AGENT + "\r\n" 
     //    + ((!CrawlerConfig.SAVE_IMAGES) ? "Accept: text/html\r\n" : "") 
     //    + "Accept: text/*\r\n" 
     + (file.endsWith("robots.txt") ? "Connection: close\r\n" : "") 
     + "Host: " + host + "\r\n" + "\r\n"/* 
     * + body 
     */; 

outStream.write(request.getBytes("US-ASCII")); 
outStream.flush(); 

Answer 1

：

これは私が要求を（ファイルは、この場合には、 "/" と等しい）を作る方法です。
webserverがリダイレクトで応答する場合は、Locationヘッダーを抽出して、そこに運がよろしいです。

実際には普遍的な解決策はありません。

私は50-ishの異なるウェブサイトのための私自身のグラバー/クローラーを書きました。そして、ほとんどすべてがユニークな働き方をしています。

クロールする場合は、ほとんどの場合、可能なすべての操作を試す方法です（APIにアクセスできない場合）。

Answer 2

独自のHTTPクライアントを記述するのではなく、Unirestのようなライブラリを使用します。

ライブラリを使用すると、次の利点があります。

• あなたは、あなたが簡単に
• リダイレクトHTTPSをサポートすることができますHTTPクライアントコード
• を記述する必要はありません自動的にどのようなコンテンツ