ウェブからのデータ抽出

Question

私は、自分の仕事の一部としてウェブソースからデータ抽出（ウェブスクラップ）を行う予定です。私は私の会社の半径10km周辺の情報を抽出したいと思います。

私は、マンション、その住所、ユニットの数、および1坪あたりの価格などの情報を抽出したいと思います。その地域やホテルの学校や幼稚園の数などの他のもの。

私はいくつかのソース/ウェブページから抽出する必要があることを理解しています。私もPythonを使用します。

私は、どのライブラリを使用するべきかを知りたいと思います。唯一の手段は廃止ですか？ Googleマップから情報を抽出できますか？

また、誰かが経験をお持ちの場合は、私がこのことについて私を導くことができれば本当に感謝します。

ありがとう、皆さん。

Answer 1

Googleマップの場合は、APIをお試しください。マップのデータ抽出にウェブスクレイピングツールを使用することは、Google TOSによって非常に推奨されていません。

Pythonを使用している場合は、この目的のためにBeautifulSoupとScrapyという非常に素晴らしいライブラリがあります。

他の手段はありますか？ OSMデータからPOIを抽出し、オープンソースのツールを試すことができます。プロパティ情報？ Govt Officeからあなたの郡/州で利用可能かもしれませんが、試してみてください。