ウェブ全体からのデータの掻き取り

Question

ウェブ全体から製品のデータ（価格、タイトルなど）を掻き集める掻き取りツールを開発する必要があります。今、私は掻爬の経験がありますが、それは単一のウェブサイトのためです。私はどのように私は全体のウェブをこすり分けるか分からない。 1つの可能な解決策は、Googleに問い合わせて、Googleに現れるリンクから各ウェブサイトを掻き集めることです。これは良いアプローチですか？

私は、各サイトが独自のデータ表現方法を持っている可能性があるため、この問題をどのように解決するかという一般的なアプローチが必要です。どのようにこれらのすべてのバリエーションを組み込むのですか？あらゆるガイドライン/ヒント？

Answer 1

Googleが見マルチサイトの価格比較機能が組み込まれています：http://www.google.co.uk/shopping

あなたはAPIは、おそらくGoogleはに悪名高いトリッキーであるとして、より良い選択ですが、グーグル独自のカスタム検索APIやカールを使用して、そのリソースを問い合わせる試みることができますもしかすると、カールスクリプトや類似のものが使われていると思えば、おそらくIPをロックするでしょう。手動で複数のサイトをコーディングするというアイデアが恐怖で満たされれば、elses比較サイトからデータを引き出すことです。

Answer 2

あなたが話していることを定義する用語は、ウェブクローラーです。あなたはウィキペディアの記事を見ましたか？

http://en.wikipedia.org/wiki/Web_crawler