2012-01-05 7 views
1

請負業者が一連の店舗の調査データを提供しています。データには、店舗番号、サムネイル画像、および大きな画像が含まれています。データは、請負業者の安全なウェブサイトを通じてアクセスされます。データのレポートを作成するために、私は手動で各イメージをダウンロードするのではなく、サイトから店舗番号とイメージを掻き取ろうとしています。私は安全なサイトのためCFHTTPを使用していないが、これまでのところではほとんど成功を収めているCFhttp to Scrape Image

<cfhttp 
    method="post" 
    url="http://www.website.com/impart/client_login.php" 
    throwonerror="Yes" 
    redirect = "yes" 
    resolveUrl = "yes"> 

    <cfhttpparam name="user" value="myUsername" type="formfield"> 
    <cfhttpparam name="pass" value="myPassword" type="formfield"> 
    <cfhttpparam name="submit" value="Login" type="formfield"> 

私は、画像を含むページへの認証を通過し得ることから進めるにはどうすればよいですダウンロードする?

+0

完全な回答が得られる前に、サードパーティのサイトの認証について詳しく知り(ここで中継する)必要があります。安全なページへの後続のcfhttp呼び出しのために、自分のサイトに手作業でログインしたときに1つまたは複数のクッキーの作成を監視し、そうであればそれらの名前と値を使用することができます。間違いなく最初に知っておく必要があります。そうでなければ、答えは純粋な推測に基づいています。 –

答えて

0

cfhttpスコープのダンプはどのように見えるのですか?具体的には、ステータスコードは何ですか?

ステータスコードが200の場合は、各画像を取得する際にセッションを維持する必要があります。以下を参照してください。

http://www.bennadel.com/blog/725-Maintaining-Sessions-Across-Multiple-ColdFusion-CFHttp-Requests.htm

http://www.bennadel.com/projects/cfhttp-session.htm

CFHTTPを経由して画像を保存するために、この質問を参照してください:

Convert an image from CFHTTP filecontent to binary data with Coldfusion

+0

+1私はちょうど同じことをお勧めしていた。 – Micah

+0

私はベンのポストを見落としたとは思わない。方向をありがとう。それは私に最も進歩をもたらしました。 – aparker81

+0

リンクを取り除くとここに答えがありません。 Benは良い人で、素晴らしい情報を提供しますが、パーマリンクの変更やブログの閉鎖を止めるのはどうですか?この情報は元の質問者だけでなく、同じ問題を抱えている将来の読者にとっても重要な情報です。 – ale

1

私はCFHTTPは、このための最良の選択ではないかもしれないと思います。私はBASHをよくしているので、私はカールでスクリプト化する傾向がありますが、おそらくこのページの一部の製品は簡単になりますhttp://www.timedicer.co.uk/web-scraping