2017-02-03 6 views
0

Scrapyを使用して画像リンクをスクラップしようとしています。URLのパーセンテージサインをスクレイピングしないでください

これは私が掻いているリンクです。

http://www.cars4sale.com/carimages/20TH%FEB%032.JPG

これは、それがJSONファイルに保存されます方法です。パーセント記号が空白で置き換えられていることに注目してください。

http://www.cars4sale.com/carimages/20TH 2月の032.JPG

だから私はリンクが間違っているので、私は404エラーを取得し、このリンクを表示していたとき。

パーセント記号をスクラップするためにScrapyを取得するにはどうすればよいですか?

+0

私はscrapyについて知らないが、私は交換思っています" % "と"(スペース) "ifnal urlで(パーセント)あなたのために仕事をします –

答えて

1

あなたはscrapyのものに何もする必要はありません

urllib.quote(urlWithSpaceInIt) 

を使用することができます。あなたがそれに行く前にURLを引用するだけです。

0

コメントありがとうございますが、私は提案された方法のいずれかを修正するための十分な経験がありませんが、私のために働いた最終的なコードに手伝ってくれました。

これまでに気付かなかった%で20があることが判明しました。

ここでは、URLに%20を追加するためにJavaScriptで行った作業を示します。

のIMG SRC = "+データ[i]の.img.replace(/ |/gで、 "%20")

関連する問題