デイリーディスカウントアグリゲーターは、どのようにさまざまな取引Webサイトからデータを取得しますか？

Question

デイリーディスカッションアグリゲータが、どのように異なる取引Webサイトのデータをスクラップするのだろうと思いましたか？私はAPIとRSSフィードを提供しない多くの取引Webサイトを見てきましたが、依然としてこのアグリゲータはそれらのデータをスクラップします。 はここのサイトには、任意のAPIやRSSフィードを提供していない場合、私は

http://www.thedealmap.com/

http://www.dealmandi.com/

Answer 1

を参照していますいくつかのウェブサイトをしている、それはそれからデータを抽出することは可能だ「古い学校情報があるページを照会し、返されたHTMLからデータを抽出することによって、「方法」を選択できます。 Pythonで

これは、HTMLからデータを抽出するページとlxmlまたはBeautifulSoupを照会するためurllib2またはrequestsを使用して行うことができます。大きなプロジェクトの場合は、scrapyフレームワークを使用してみてください。このフレームワークでは、複雑なスパイダーをコード化するためのすべてを提供しています。

Answer 2

私がLesserThan-http://lesserthan.comをビルドしたとき、ほとんどのAPIやRSSフィードが未公開であることがわかりました。アフィリエイトアカウントにサインアップした後でのみ、RSSフィードのURLがわかります。