どの言語でも、ウェブページをキャプチャしてイメージファイルに保存できますか？ （no install、no activeX）

Question

WindowsサーバでPHP（6.0以上）を使用してWebページを取得することができると聞きました。

サンプルコードを入手してテストしました。正しく実行するコードはありません。

ウェブページをキャプチャする正しい方法がわかっている場合は、ウェブアプリケーションにイメージファイルを保存しますか？

私に教えてください。

Answer 1

ウェブページのhtmlをダウンロードすることは、一般的にスクリーンスクレイピングと呼ばれています。これはプログラムが特定のページからデータを抽出したい場合に便利です。 HTTPリソースを要求する最も簡単な方法は、ツールコールcURLを使用することです。 cURLはスタンドアロンのUNIXツールとして提供されていますが、すべてのプログラミング言語で使用するライブラリがあります。 Unixコマンドラインのタイプから、このページをキャプチャするには：PHPで

curl http://stackoverflow.com/questions/1077970/in-any-languages-can-i-capture-a-webpageno-install-no-activex-if-i-can-plz 

、あなたは同じことを行うことができます。

<?php 
$ch = curl_init() or die(curl_error()); 
curl_setopt($ch, CURLOPT_URL,"http://stackoverflow.com/questions/1077970/in-any-languages-can-i-capture-a-webpageno-install-no-activex-if-i-can-plz"); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
$data1=curl_exec($ch) or die(curl_error()); 
echo "<font color=black face=verdana size=3>".$data1."</font>"; 
echo curl_error($ch); 
curl_close($ch); 
?> 

今すぐWebサイト全体をコピーする前に、あなたはに彼らのrobots.txtファイルをチェックする必要がありますロボットが自分のサイトをスパイダーすることを許可するかどうかを確認し、HTMLなしでデータを取得できるAPIがあるかどうかを確認することができます。

Answer 2

PHPソリューションを依頼しましたが、Perlとは別のソリューションをご紹介したいと思います。 WWW::MechanizeとLWP::UserAgentおよびHTML::Parserは、スクリーンスクレイピングに役立ちます。参照用

一部のドキュメント：

• Web scraping with WWW::Mechanize
• Screen-scraping with WWW::Mechanize

Answer 3

あなたが本当にほぼすべての言語を使用することができ、XML-RPCインタフェースでbrowsershotsのAPI http://browsershots.org/

を使用することができますそれにアクセスする。

http://api.browsershots.org/xmlrpc/