scrapy-spider

-1熱

1答えて

私はスクレイピーに新しいので、複数のクラス名を持つタグからテキストを抽出する必要があり、クラス名にスペースとハイフンが含まれています。例：私は、コードを使用すると <div class="info> <span class="price sale">text1</span> <span class="title ng-binding">some text</span> </

0熱

3答えて

のPythonのWebクロール・スクリプト、チュートリアル以下となる問題

： Scraping Web Pages with Scrapy これは、Python 2.xのために、古いだと私はバージョン3.xを学んでいますこれまで私はGoogle経由で把握できるいくつかの問題に遭遇しました。しかし、現在、私はエラーを取得しています： File "/usr/lib64/python3.5/site-packages/twisted/internet/defer.py", l

1熱

1答えて

scrap.Requestオブジェクトをシェルで処理する方法はありますか？ターミナルで

は、私は、端末で import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = ['http://quotes.toscrape.com/page/1/'] spidersフォルダに以下のクモを作成し、私はこのすべてが同様に正常に動作 scrapy shell 'http://

0熱

2答えて

Ubuntu14.04でのScrapyインストール

https://docs.scrapy.org/en/latest/intro/install.html のインストールガイドに従っていますが、インストールに失敗しました。私は、治療をインストールする際に最後にインストールできませんでした。 ------ 11時47分に編集--- 私はきちんとscrapyを実行することはできません。私はそれを実行 --- ---- Traceback (most

1熱

1答えて

Scrapyエラー：スパイダーがRequest、BaseItemまたはNoneを返す必要があります。 'dict'

Xpathを使用してScrapyチュートリアルを再現しようとしましたが、ERROR: Spider must return Request, BaseItem or None, got 'dict' in <GET http://quotes.toscrape.com/>の問題を解決する方法がわかりません。 items.py from scrapy.item import Item class

0熱

1答えて

scrape frameworkを使用してmonster.comをスクラップ

すべてのページをクロールするmonster.com用のクローラを作成するにはどうすればよいですか。「次のページ」リンクの場合、monster.comは、JavaScript関数を呼び出しますが、scrapyはここが、それはページネーションのための私のコード機能していませんjavascriptを認識しません： import scrapy class MonsterComSpider(scrap

0熱

1答えて

複数のメソッドを実行する方法

def parse(self,response): print("parse!!!!!!!!!!!!!!!!!!!") yield scrapy.Request("http://xx.com", callback=self.parseHeader,meta={'item': item}) yield scrapy.Request("http://xx.com ", c

0熱

1答えて

scrapyのログエントリの起点に応じてlog_levelを選択的に設定するにはどうすればよいですか？

[scrapy.core.engine]と[scrapy.extensions.logstats]のログレベルをカスタムロガーと同様に 'INFO'にすることができますか？それ以外のものはすべて 'WARNING'に設定してください。私は私のログファイルからいくつかの混乱を取り除くためにこれをしたいと思います。ありがとうございます！ EDIT： this答えで説明したように、私は次のことをやって

0熱

1答えて

分離された関数形式でデータを返すには、どのように処理するのか？

私はウェブサイトからデータを取得するためにscrapyを使用していますが、この関数はデータを別の関数に渡します。この関数を使用すると出力を返すことはできません！プリントしてみましたが、 jsonファイルでデータを取得します。 funcの返品明細の印刷方法は？ def parse(self, response): all_tr= list() for tr in response

1熱

1答えて

scrapy TypeError：object（）にはパラメータがありません

私はScrapyを初めて使い、Scrapyを使っていくつかのリンクをテストとしてクロールしようとしています。私はscrapy crawl tier1を実行するたびに、私は "TypeError例外を：オブジェクト（）はパラメータを受け取りません" を取得、次のとおりです。 Traceback (most recent call last): File "/Users/btaek/Taek