Facebookのようなイメージスクレイピング

Question

私は、あなたがリンクを投稿したときのFacebookのやり方と同様に機能するイメージスクレーパー機能を実装しようとしています。実際のUI部分は気にしない。私は、スクリプトにURLを渡して、ページ上のすべての画像のURLを返すだけです。

thisののようなものをまとめるのは本当に簡単ですが、私は合理的にうまくいくものを求めています。

私はこの種のものを自分で書くことができますが、既に無料で入手できるものがあれば、それは私には間違いありません。

誰でもこのようなツールが存在することは知っていますか？ * nix上で動作する限り、どの言語を使用しても構いません。

Answer 1

あなたのpythonで始まり、Scrapy http://doc.scrapy.org/en/latest/index.html