scrapy

0熱

1答えて

Pythonでマルチプロセッシングを使用してScrapyを使用して何百万ものURLをクロールする方法は？

私は3つの層の再帰を実装して、URLのシードリストを生成し、各URLから情報をスクレイピングしました。 multiprocessingを使用して、システムのすべてのコアを利用してクロールを高速化したいと考えています。これまでに実装したクローラコードを示します。 # -*- coding: utf-8 -*- import scrapy from scrapy.selector import H

0熱

1答えて

Scrapy：クロールの確認と停止の方法

私はページのリストをクロールしています。各ページには、解析する必要があるURLのリストがあります。私はこれらの最初のページをループしていますが、いつクロールをやめなければならないのかは分かりません。ない http://www.cmjornal.pt/opiniao/colunistas/acacio-pereira/MoreContent?firstContent=183 ではなく、この1すでに空

0熱

1答えて

スケジューリング予定時刻にスパイダーをクロールする

スケジュールされた時間にスパイダーを複数回クロールしたい。次のクロール時間は、最初のクロールが完了した後に決定されます。ここではそれを行うに私のコードですが、コードは最初crawler.start（）ラインでブロックされます。 spidersQ = collections.OrderedDict() class QuotesSpider(scrapy.Spider): name =

0熱

1答えて

はScrapy（パイソン）で構文エラーを与える - XPathの

は、私は、ユーザー名などのいくつかの詳細を抽出するためにScrapyクローラを使用しています、upvotes、参加日などを、私は、各ユーザーのWebページから内容を抽出するためのXPathを使用しています。コード： import scrapy from scrapy.selector import HtmlXPathSelector from scrapy.http import Requ

0熱

1答えて

"TypeError：strとstr以外の引数を混在させることはできません"を修正する方法はありますか？

私はいくつかのスクレイピングコードを書いており、上記のようなエラーが発生しています。私のコードは以下のとおりです。 # -*- coding: utf-8 -*- import scrapy from myproject.items import Headline class NewsSpider(scrapy.Spider): name = 'IC' allowe

0熱

1答えて

治療セレンログインしてからページを検索

私は治療とセレンについてもっと学びたいと思っています。私は一般的に治療とパイソンにはとても新しいです。私は地元の食料雑貨品の価格を調べるためにgrocery.walmart.comを掻き取ろうとしています。 grocery.walmart.comには郵便番号またはログインが必要です。フォームリクエストスクレーパーを使用しようとすると、通常、フォームを見つけることができないという値のエラーが発生し

0熱

2答えて

Scrapy：HTMLテキストの検索文字による特定の単語の選択

特定の単語を検索している次のHTMLスクリプトがあります。 <tbody> <tr> <th>Berufsbezeichnung:</th> <td class="gray">ExampleName</td> </tr> <tr> <th>Anrede:</th> <td class="

0熱

1答えて

どのようにして治療のcsvにスクラップするのですか

ページをcsvにスクレイプするにはどうすればよいですか？私のCSVは表示されないか、空白になります私は走りました：scrapy crawl jobs -o output.csv。 csvが表示されている間、何も表示されません。 # -*- coding: utf-8 -*- import scrapy from scrapy import cmdline cmdline.execute