ウェブスクレイピングプロジェクトのベストプラクティスに関する良いチュートリアルの推奨事項をお探しですか？

Webスクレイピングを含むかなり広範なプロジェクトを行う必要があり、HpricotやBeautiful Soup（RubyやPythonなど）の使用を検討しています。私は右足でプロジェクトを開始するのに役立つだろうと思っているチュートリアルに誰かが出会ったのですか？ウェブスクレイピングプロジェクトのベストプラクティスに関する良いチュートリアルの推奨事項をお探しですか？

出典

2009-03-26 Anonymous

ScrAPIには優れたRailscasts episodeがあります。

出典

2009-11-12 02:05:13 ski

私のお気に入りのPython Web Scrapingツールのうちの2つはScrapyとMechanizeです。これらのプロジェクトのそれぞれには、独自のチュートリアルとベストプラクティスがあります。

出典

2009-03-26 05:56:10 RexE

機械化のルビバージョンもあります。 –

感謝のためにありがとう。それはクールだ – Alagu

ツールではありませんが、実際には、マイケル・シュレンクの書籍Webbots, Spiders, and Screen Scrapersです。

本書は、シンプルなウェブボットを構築し、コミュニティ標準に従ってそれらを操作する方法を説明している、その使命を非常にうまく継承しています。それはあなたが知る必要があるすべてではありませんが、私が見た中で最も良い紹介です。焦点はシンプルなシングルスレッドのボットです。中央のリポジトリにデータを格納する複数のボットを使用することについて少し触れていますが、毎秒何百ものページを処理できるマルチスレッドまたは分散ボットの作成に関連する問題は議論されていません。

PHPを使い慣れていない、または使用しようとしていなくても、Webボットの作成に興味がある人は、この本を読むことをお勧めします。しかし、本以上のものを期待しないでください。

出典

2009-03-26 06:01:26

Rubyでは、Scrubytウェブスクレイピングツールキットが優れています。ここにはan extensive introductionがあります。これは他のツールを使用している場合でも読む価値があります。

出典

2009-03-26 06:20:00 user37011

BeautifulSoupの代わりにlxmlを使用してください。その名前にもかかわらず、HTMLの解析とスクラップ用です。 BeautifulSoupよりはるかに高速であり、BeautifulSoupよりも「壊れた」HTMLを扱うことさえあります（彼らの名声への彼らの主張 - lxmlはそれについての声ではありません）。 lxml APIを習得したくない場合は、BeautifulSoup用の互換APIもあります。

Ian Blicking agrees。

Google App Engineや純粋にPython以外のものがない限り、BeautifulSoupを使用する理由はありません。

出典

2009-08-03 15:38:28 aehlke

次のスクリーンキャストを見てみましょう：