検索エンジンで自動的に検索

Question

GoogleやBingなどの検索エンジンを使用してウェブ上の単語を検索できるプログラムを作成する必要があります。たとえば、私は "スティーブジョブズ"のような言葉を与え、私のPC上のすべての最初の1000ページを保存する必要があります。これを行う方法はありますか？

Answer 1

それはGoogleが自社の検索API、http://code.google.com/apis/websearch/

を非推奨のように彼らはあなたが特定の、私も間違っている可能性のサイトのサブセットに限定しているようで、カスタム検索エンジンのための新しいものを、持って見えます。

ビングを使用すると、おそらくページング情報を持つ複数の要求を提出する必要があるとしている1000の結果を得るために、しかしhttp://www.bing.com/developers/s/APIBasics.html

をアクティブなものを持っています。

取得した内容に基づいてAPIクエリ制限とデータ使用ポリシーに注意してください。

Answer 2

GoogleのラボでJSON/Atom Custom Search APIを使用することはできますが、無料で1日100クエリに制限されているようです。

このAPIでは、開始,カウントなどのパラメータを指定できます。それは素敵なJSON形式で返ってくるので、簡単に解析することができます。

これを使用するにはAPIキーが必要です。