製品の価格比較スクリプト

Question

どのように価格比較スクリプトを作成しますか？私はAmazonが公開APIを提供していることを知っていますが、この2つのサイトgoodreads,bookdopeは、書籍の価格を比較し、WalmartからAPIを提供しないWebサイトや他のWebサイトから価格を取得しています。 APIを持っていないサイトからどのように価格を取得しますか？

私はC＃とASP.NET MVCを使用しています。

Answer 1

サイトでAPIが提供されていない場合は、スクリーンスクレイピングと呼ばれるものを実行する必要があります。あなたはページのHTMLを取得し、プログラムから情報を抽出します。

これは機能しますが、問題に注意してください。

あなたはこのことをしていないのですか？彼らが情報を入手したければ、APIを提供していたでしょう。あなたの特定の場所から高いヒット数を検出してブロックする可能性もあります。

とりわけ、このページは人間がブラウザで読むことができるように設計されています。彼らはいつでもそれを変更することができ、結果としてアプリケーションが失敗する可能性があります。