URLからファイルをダウンロードする1）拡張子[例：.jpg]または2）がファイルにリダイレクトする

Question

FileをURLからダウンロードする方法はわかっていますが、問題があります。例：

http://i12.photobucket.com/albums/a206/zxc6/1_zps3e6rjofn.jpg

---

それは以下のようなファイルに来る：

https://images.duckduckgo.com/iu/?u=http%3......

Iヘクタールそれをダウンロードする手がかりはありません。

---

私はIOUtilsでファイルをダウンロードするために使用していたコードの拡張子が表示されているが、上記の例の場合に返された場合、それは素晴らしい作品：

java.io.IOException: Server returned HTTP response code: 500 for URL: https://images.duckduckgo.com/iu/?u=http%3A%2F%2Fimages2.fanpop.com%2Fimage%2Fphotos%2F8900000%2FFirefox-firefox-8967915-1600-1200.jpg&f=1 

あなたが&f=1を削除しても。

---

Downloaderのコード（それは....テスト目的のためのプロトタイプです）：私は投稿する前に読んだことがある

import java.awt.event.ActionEvent; 
import java.awt.event.ActionListener; 
import java.io.IOException; 
import java.io.OutputStream; 

import org.apache.commons.io.output.CountingOutputStream; 

public class DownloadProgressListener extends CountingOutputStream { 

    private ActionListener listener = null; 

    public DownloadProgressListener(OutputStream out) { 
    super(out); 
    } 

    public void setListener(ActionListener listener) { 
    this.listener = listener; 
    } 

    @Override 
    protected void afterWrite(int n) throws IOException { 
    super.afterWrite(n); 
    if (listener != null) { 
     listener.actionPerformed(new ActionEvent(this, 0, null)); 
    } 
    } 

} 

質問：

import java.awt.event.ActionEvent; 
import java.awt.event.ActionListener; 
import java.io.File; 
import java.io.FileOutputStream; 
import java.io.InputStream; 
import java.io.OutputStream; 
import java.net.URL; 
import java.net.URLConnection; 

import org.apache.commons.io.IOUtils; 

public class Downloader { 

    private static class ProgressListener implements ActionListener { 

    @Override 
    public void actionPerformed(ActionEvent e) { 
     // e.getSource() gives you the object of 
     // DownloadCountingOutputStream 
     // because you set it in the overriden method, afterWrite(). 
     System.out.println("Downloaded bytes : " + ((DownloadProgressListener) e.getSource()).getByteCount()); 
    } 
    } 

    /** 
    * Main Method 
    * 
    * @param args 
    */ 
    public static void main(String[] args) { 
    URL dl = null; 
    File fl = null; 
    String x = null; 
    OutputStream os = null; 
    InputStream is = null; 
    ProgressListener progressListener = new ProgressListener(); 
    try { 
     fl = new File(System.getProperty("user.home").replace("\\", "/") + "/Desktop/image.jpg"); 
     dl = new URL(
      "https://images.duckduckgo.com/iu/?u=http%3A%2F%2Fimages2.fanpop.com%2Fimage%2Fphotos%2F8900000%2FFirefox-firefox-8967915-1600-1200.jpg&f=1"); 
     os = new FileOutputStream(fl); 
     is = dl.openStream(); 

     // http://i12.photobucket.com/albums/a206/zxc6/1_zps3e6rjofn.jpg 

     DownloadProgressListener dcount = new DownloadProgressListener(os); 
     dcount.setListener(progressListener); 

     URLConnection connection = dl.openConnection(); 

     // this line give you the total length of source stream as a String. 
     // you may want to convert to integer and store this value to 
     // calculate percentage of the progression. 
     System.out.println("Content Length:" + connection.getHeaderField("Content-Length")); 
     System.out.println("Content Length with different way:" + connection.getContentType()); 

     System.out.println("\n"); 

     // begin transfer by writing to dcount, not os. 
     IOUtils.copy(is, dcount); 

    } catch (Exception e) { 
     System.out.println(e); 
    } finally { 
     IOUtils.closeQuietly(os); 
     IOUtils.closeQuietly(is); 
    } 
    } 
} 

コードDownloadProgressListener用：

1）Download file from url that doesn't end with .extension

2）http://www.mkyong.com/java/how-to-get-url-content-in-java/

3）Download file using java apache commons?

4）How to download and save a file from Internet using Java?

5）How to create file object from URL object

Answer 1

コメントで指摘したように、拡張は無関係です。

ここで問題となっているのは、おそらくリダイレ​​クトや非同期呼び出しのパラメータをダウンロードしようとすることです。

拡張子のない非常に大きなURLは壊れていますが、私は他のタイプの潜在的な解決策に答えることができます。

URLを観察する場合：画像のURLが実際にある

https://images.duckduckgo.com/iu/?u=http%3A%2F%2Fimages2.fan‌​pop.com%2Fimage%2Fph‌​otos%2F8900000%2FFir‌​efox-firefox-8967915‌​-1600-1200.jpg&f=1

。それはちょうどエンコードされ、デコードするのはかなり簡単なはずです。 Javaにはデコードライブラリが含まれています（java.net。URLDecoderのは）、しかし、あなたはそれをこのように見ることができ、それを自分で行うことを希望する必要があります。

http%3A%2F%2Fimages2.fan‌​pop.com%2Fimage%2Fph‌​otos%2F8900000%2FFir‌​efox-firefox-8967915‌​-1600-1200.jpg&f=1

エンコードされた部分がXXは、任意の2つの文字です%XXです。 HTMLエンコーディングテーブルを見ると、%3Aは、明らかにコロンです。 %2Fはスラッシュです。

あなたはすべてのエンコードされたエンティティを交換する場合は、あなたがになってしまいます： この場合http://images2.fan‌​pop.com/image/ph‌​otos/8900000/Fir‌​efox-firefox-8967915‌​-1600-1200.jpg&f=1

、あなたは余分なパラメータをしたくないので、あなたは&f=1を破棄してから画像をダウンロードすることができます元のURL。ほとんどの場合、私はあなたが余分なパラメータを保持することができ、それは無視されると思います。

1. は
2. 元のURLを抽出し、それを私は、これは壊れやすいと指摘したいと思います
3. ダウンロード

をデコード：一言で言えば

-

URLパターンが変更されたり、多くのメンテナンスが必要になったりした場合に破損する可能性があります。少人数のユーザーをターゲットにする場合は、アプローチを再考する必要があります。

HTML URL encoding table

Answer 2

あなたが問題を解決するために「間に合わせ」方法をしたい場合は、@Christopherシュナイダーの答えを見てください。 （ただし、DuckDuckGoのURL構文が変更された場合は破損する可能性があります...）

私は少し掘り下げました（curl --trace-asciiなどを使用しています）。これはリダイレクトの問題ではありません。 curlによれば、500は要求に対する即時応答です。

だから私の最高の推測は、この動作が「設計通り」であるということです。サーバーはリクエストヘッダー（「User-Agent」ヘッダーなど）を見て、リクエストがサポートされているブラウザからのものかどうかを判断しています。 500応答は、故意または偶発的な難読化です。

なぜですか？

ほとんどの場合、DuckDuckGoを実行している人は、自動的にダウンロード、スクレイピングなどを行うためにそのサーバーエンドポイントを使用することは望ましくありません。彼らはそれについて完全には明らかではありませんが、このリンクは説明するためにいくつかの道を行く：

• https://duckduckgo.com/api

ソリューション？

しないでください！公式のAPIを使ってやろうとしていることを実行できるかどうかを確認してください（上記参照）。それでも問題が解決しない場合は、に連絡してください。