scrapy

1熱

1答えて

私は次のウェブサイトを削っています：https://www.climatempo.com.br/climatologia/558/saopaulo-sp。 2番目のドロップダウンメニューには最初のものに応じて2番目のメニューがあるので、私はscrapyとsplashを使ってscrapy-splashを選択します。最初に状態を選択し、次に都市を選択することで、場所の変更を自動化する必要があります。

1熱

2答えて

単一ノードscrapyのXPathの中にHTMLを含むすべてのテキストを取得

response.xpath('//*[@id="blah"]//text()') 私もその1個のタグかかわらず、テキストのリストを取得する何が起こっている私のHTMLは This is a simple text <a href="#">foo</a> and this is after tag. であると仮定します。このような [u'This

1熱

1答えて

CSSセレクタをスクラップで掻き集める方法を試すことができません

私はこのwebsiteを掻き集めようとしていますが、CSSセレクタがScrapyで動作することを理解するのに苦労しています。 CSSのビーイングに：標準のCSSセレクタがどのように見えるhttps://ibb.co/eJeZpb ：だからそこドキュメントからscrapyにこの仕事をするために .css-truncate-target .message .js-navigation-open t

0熱

1答えて

アクセスのインスタンスは、パイプラインクラス

アクティブなpostgreSQL接続を使用するために変数self.cursorにアクセスしたいのですが、私はパイプラインクラスのスクラップのインスタンスにアクセスする方法を見つけることができません。 class ScrapenewsPipeline(object): def open_spider(self, spider): self.connection = psyco

2熱

1答えて

asyncioのループ内でスクーピースパイダーを実行するには？

私は死んでしまったように見えます。 asyncioループの中でスパイダースパイダーを実行する方法はありますか？たとえば、以下のコードで：エラーに私をリード import asyncio from scrapy.crawler import CrawlerProcess from myscrapy import MySpider import scrapy async def do_som

0熱

1答えて

治療パイプラインprocess_itemが機能していない（まだ別のものが動作していない）

item working question。しかし、私は研究をする上で私の最善を尽くしましたが、まだ私は質問を提起しなければなりません。私は以下のようにコードを簡略化しました。私はいくつかの製品の詳細をウェブサイトから取得したいと思っています。私はスプラッシュを使用して自分自身でいくつかのCSSを読むことができなければなりません。私はアイテムと2つのdbクラスを登録しました。私の計画は商品テーブ

1熱

1答えて

スクイピースパイダーからの出力がスクラピーシェルよりも

私はスクレイピーが新しく、なぜ私がスクリーニングシェルから必要な要素を抽出できるのかを理解しようとしていますが、コマンドラインから作成したスクリーピースパイダーではありません。次返し pipenv run scrapy shell http://quotes.toscrape.com/ その後 response.css('small.author::text').extract() ：これ

1熱

1答えて

スクリプトまたはexeを使用して複数のスパイダーを実行するようにスクレーパーを設定するにはどうすればよいですか？

私は3回目の治療プロジェクトに入っていて、もう少し大胆になってきています。私は非技術的なユーザーにcmdをラインまたは好ましくは.exeのまずはので、どちらかを、このプログラムを提供したい、私はこの思い付いたドキュメントを使用して、Crawler.Processを使用して開始しました： process = CrawlerProcess() process.crawl(FirstSpider)

0熱

1答えて

壊れたHTMLを持つresponse response.css/xpath。任意のヒント？

は、私はまだscrapyを勉強して、このページからいくつかの情報をこすりしようとしています：Schlotzskys store しかし、私は、サイト上のアドレスを解析して具体的にいくつかの問題に遭遇しscrapyのシェルを介してscrapyでページを解析した後。まず私は、シェルで次のコマンドを実行します。 pipenv run scrapy shell https://www.schlotzsk

1熱

1答えて

scrapy：ノードが子ノード

が含まれている場合、私は、次のWebページがあります。 <dd> News Europe </dd> ：各記事の https://www.bbc.co.uk/search?q=Juice&sa_f=se