スクリーンスクラップフォームの結果

Question

私は最近、顧客が保険ビジネスのウェブサイトを構築するように依頼されました。その一環として、プロバイダのプロバイダのために見積もりサイトのスクリーンスクレイピングをいくつか行いたいと考えています。彼らは、これを行うためのAPIであるかどうかを尋ね、1つではないと言われましたが、エンジンからデータを得ることができれば、望み通りに使うことができました。

私の質問：別のサイトへのフォーム送信に対する応答でスクリーンスクレイピングを実行することは可能ですか？もしそうなら、私が見なければならないものは何ですか？彼らはすでに私たちがやろうとしていることをする許可を求めているので、明らかな法的/倫理的問題は除いています。

さて、私はPythonでどんな処理をしたいと思います。

おかげ

Answer 1

スクリーンスクレイピングの本当にいいライブラリはmechanizeです。これはPerlで書かれたオリジナルのライブラリのクローンです。とにかく、それはClientFormモジュールと組み合わせて、そしてBeautifulSoupとあなたからのいくつかの追加の助けが離れているはずです。

私はPythonで大量のスクリーンスクレイピングコードを書いてきましたが、これらのモジュールは最も有用であることが判明しました。 mechanizeのほとんどは、理論的には標準ライブラリのurllib2またはhttplibモジュールを使用して簡単に行うことができますが、mechanizeはこれを簡単にします：基本的にプログラムブラウザを提供します（ブラウザは必要ありません完全にカスタマイズ可能なブラウザのように動作するAPIを提供しています）。

後処理の場合、私はBeautifulSoupで多くの成功を収めましたが、lxml.htmlも良い選択です。

基本的には、Pythonでこれを行うことができます。その結果、ツールの範囲が本当に良いはずです。

Answer 2

あなたがフォームに記入していただけのよう要求してPOSTデータを送信するためにurllib.urlopenにdataパラメータを渡すことができます。フォームに正確にどのようなデータが含まれているかを見てください。

また、フォームにmethod="GET"がある場合、リクエストデータはurlopenに与えられたURLの一部に過ぎません。

戻ってきたHTMLデータをスクレイピングするためのかなりの標準はBeautifulSoupです。

Answer 3

私は他の2つの答えがすでに目的のために選択されたすべての主要なライブラリを言及しているのを見て...限り、掻き取られているサイトがJavascriptの広範な使用をしない限り。 Javascriptの重いサイトで、JSに依存してフェッチして表示するデータ（AJAX経由など）に問題がある場合は、問題の規模はそれほど大きくなりません。その場合、私は、JavaScriptの大幅な仕事と（仮にの仕様に対応するため、おそらく専用の作業を行う必要があるでしょう

など、crowbarで始まるdiggstripper、またはseleniumのいくつかのカスタマイズを提案するかもしれませんJS-それが使用するJSフレームワークに応じて、問題の重いサイト）そういうわけで、仕事がそれほど難しいのです。しかし、いずれにしても、サイトのページのローカルHTMLコピーが表示されたままで終わる可能性があります。これらのコピーは既に推奨されている他のツールを使用してコピーしてください（）。幸運を祈る：あなたが掻き集めるサイトは、常にJavascript-lightになるかもしれません！ - ）

Answer 4

他にもBeautifulSoupがおすすめですが、lxmlを使用する方がはるかに優れています。その名前にもかかわらず、HTMLの解析とスクラップ用です。それは、BeautifulSoupよりはるかに高速で、BeautifulSoupよりも「壊れた」HTMLを扱っています（彼らの名声に対する彼らの主張）。 lxml APIを習得したくない場合は、BeautifulSoup用の互換APIもあります。

Ian Blicking agrees。

Google App Engineや純粋にPython以外のものがない限り、BeautifulSoupを使用する理由はありません。