カールするよりも他のウェブサイトから情報を得る良い方法はありますか？

Question

1つのウェブサイトは、その情報をIDに格納します（http://website.com/index.php?id=1など）。それは約500,000のレコードを持っています。

私はそれらを取得し、データベース（MySQL）に入れる必要があります。今私はカールを使用し、それはその情報を取得しますが、それは非常に遅いです。 1時間で約4,000のレコードしか得られません。

私の質問ですが、これをもっと速くする方法はありますか？あなたはPerlを使用して反対していない場合は

Answer 1

は、CPANモジュールのWebは::スクレーパーは、効率的にページをこするための従来の方法です。 http://metacpan.org/pod/Web::Scraperを参照してください。

Answer 2

使用JSONP
ワン・モア・JSON With Padding

Answer 3

いつもwgetをPHPのexecと組み合わせて使用​​できます。これはもちろん、PHPがシェルコマンドを実行できるようにサーバを設定したことを前提としています。しかし、wgetは、curlよりも大幅に高速です。