scrapy-spider

0熱

1答えて

私は、各アイテムに対して2つの数量をクロールするスクラピースパイダーを持っています。問題は、floatメソッドを使用する必要があることです。そのため、クロールされたフィールドの1つが空の場合、エラーが発生し、スパイダーはそのページの要素のクロールを停止し、次のページに直接進みます。エラーが発生した後でも、スクラップがクロールを続けるように指示する可能性はありますか？これは私のスパイダーのコードで

1熱

1答えて

Scrapy私は下のクモのスクリプトを使用して、テーブルから既存のデータを取得することができ、私はHTMLのテーブルからデータをこすりしようとしていますテーブル

内のリンクからTexas Death Row データを取得： from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from texasdeath.items import DeathItem class DeathSpider(BaseSpider): name =

-1熱

1答えて

治療スパイダーが必要なページをクロールしない

ここは私がクロールしようとしているウェブサイトのリンクです。 http://search.epfoservices.in/est_search_display_result.php?pageNum_search=1&totalRows_search=72045&old_rg_id=AP&office_name=&pincode=&estb_code=&estb_name=&paging=pagin

13熱

2答えて

Scrapy：AttributeError： 'list'オブジェクトに 'iteritems'という属性がありません

これはスタックオーバーフローに関する私の最初の質問です。最近私はlinked-in-scraperを使用したいので、ダウンロードして "scrap crawl linkedin.com"と指示し、以下のエラーメッセージが表示されます。あなたの情報については、私はanaconda 2.3.0とpython 2.7.11を使用します。プログラムを実行する前に、scrapyと6を含むすべての関連パッケー

0熱

1答えて

セッション中のセッションクッキーを維持する

私がクリックする必要がある受け入れ条件のフォームを持つサイトを削っています。ボタンをクリックすると、スクラップする必要があるリソースにリダイレクトされます。基本的な仕組みが働いています。これは最初のクリックスルーです。セッションが始まり、セッションがタイムアウトするまでうまくいっています。次に何らかの理由でScrapyがリダイレクトされますが、レスポンスURLは更新されないので、重複をチェックする

3熱

1答えて

Python scrapy - ログイン認証問題

私は今、scrapyを使い始めました。私はscrapyのログインでいくつかの問題に直面しています。私はウェブサイトwww.instacart.comの擦り傷のアイテムを試しています。しかし、私は中に伐採の問題に直面しています。を以下には、次のエラーメッセージ C:\Users\gouta\PycharmProjects\CSG_Scraping\csg_wholefoods>scrapy cra

2熱

1答えて

スパイダーをScrapyのネストされたディレクトリに整理するにはどうすればよいですか？

は、私は次のディレクトリ構造を持っている： my_project/ __init__.py spiders/ __init__.py my_spider.py other_spider.py pipeines.py # other files 今私はmy_projectディレクトリにあるとscrapy crawl my_sp

0熱

1答えて

スパイダーの更新後にスパイダーが実行されない

ここで頻繁に発生するように、私はPython 2.7とScrapyにはかなり新しいです。私たちのプロジェクトでは、ウェブサイトの日付を拝見したり、いくつかのリンクや擦り傷をつけたりしています。これはすべて正常に動作していた。その後、私はScrapyを更新しました。これは以前にどこにも来ていなかった（私の前のエラーメッセージのいずれも、このように何も見えません）：私は私のクモを起動したときは今、

1熱

1答えて

Scrapy Spider Xpath Image URL

私は、希望のキーワードの入力を受け取り、検索結果のURLを生成するスクラピースパイダーを持っています。次に、そのURLをクロールして、 'item'内のそれぞれの結果についての望ましい値をスクラップします。私は結果の車のリストに各車に付随する各フルサイズの車の画像リンクのためのURLを私の産出品目内に追加しようとしています。私は「ホンダ」としてキーワードを入力するときにクロールされている特定のU