スクラップを使用してウェブサイトをクロールするにはどうすればよいですか？

Question

私は、ユーザーがウェブサイトのURLを入力して「クロール」ボタンをクリックすると、治療に基づいてGuiアプリケーションを作成します。その後、ウェブサイト全体がクロールされ、内蔵のscrapy-db（ sqlite）。

ウェブサイトをクロールするのに役立つ治療方法を教えてください。

Answer 1

あなたの質問はうまく構成されていません。あなたがどのようにScrapyを使うことができるかはあなた次第です。

はここScrapyは基本的に何をするかです：

1）ウェブサイトには、ツリー構造A-> B、A-> C、A-> D、B-> E、C-> Fを持っている.....など

2）Scrapyはクロールが、Scrapyは情報のためにあなたが '私の' をすることができます）あなたはツリーを再帰的に

3をクロールできます。そのためにあなたは値を解析し、データベースに保管） http://www.w3schools.com/xpath/

ページでDOMの値を検索し、解析するXPathを学ぶ必要があります。

クロール対象を正確にお知らせください。あなたがクロールしてウェブページを保存しているだけなら、[HTTrack]のようなソフトウェアに行くこともできます。http://www.httrack.com