scrapy-spider

0熱

1答えて

アクティブなpostgreSQL接続を使用するために変数self.cursorにアクセスしたいのですが、私はパイプラインクラスのスクラップのインスタンスにアクセスする方法を見つけることができません。 class ScrapenewsPipeline(object): def open_spider(self, spider): self.connection = psyco

0熱

1答えて

Scrapy Spider：n行目からURLのリストをクロールする

Scrapy Spiderを使用してテキストファイルからURLのリストをクロールしています。私はむしろPythonとScrapyの新機能です。私はこの作業を完了するためにそれを準備するだけです。 URLの私のリストがかなり大きいので、これは私がそれを実装している方法です。 from scrapy.spider import BaseSpider from scrapy.http.request

0熱

1答えて

Scrapy - REST APIでアイテムをエクスポート/保存する最も良い方法

アイテムをエクスポート/保存する最良の方法はREST APIですか？ REST APIにスクラップしたアイテムを送信したい場合は、どこに requests.post（...）を入れる必要がありますか？どんな例？

1熱

1答えて

スクラムスパイダーでXMLを適切にインデントする方法

サイトを削り取っていて、各地域が属する国のどこにxmlを生成したいのですか？私は次のようにXMLを表示する <Country1></Country1> <Country2></Country2> <Region>Region1</Region> <Region>Region2</Region> <Region>Region3</Region> <Region>Regi

0熱

2答えて

どのように治療を使用して特定のキーワードを使用してGoogleニュースを抽出するには？

私は怒鳴る与えられたリンクからGoogleのニュースを抽出しようとしている、scrapyに新しいです：は https://www.google.co.in/search?q=cholera+news&safe=strict&source=lnms&tbm=nws&sa=X&ved=0ahUKEwik0KLV-JfYAhWLpY8KHVpaAL0Q_AUICigB&biw=1863&bih=966

-4熱

1答えて

は、scrapyspiderのためのxpathを見つけることができません

私は次の情報を得るためにスパイダーを作成しようとしています10, 861, Wednesdaytdから多くの多くのためtd。画像をご覧ください。どうもありがとうございます！！！

1熱

2答えて

要素の文字列値を選択するのにXPathを使用しますが、<br/>を改行に置き換えますか？

<br>,<br/>を新しい行として表示すると、xpath normalize-space()をhtmlで呼び出すことはできますか？ XPathバージョンは1.0ですウェブサイトの記事を解析します。実際のHTMLコードの例： <div id="someid"> <img src="https://habrastorage.org/webt/ej/ye/hp/ejyehp08ercmqz

1熱

1答えて

Xpathが<table>の内容を<a>に返さない（<tbody>は問題ありません）

次のコードでは、scrapy + scrapy-splash + Pythonを使用しています。 https://www.hltv.org/matches コールバック「パース」関数での私のコードは次のとおりです： match_days = response.xpath("//div[@class = 'upcoming-matches']//div[@class = 'match-day']")

0熱

1答えて

Scrapy Spider Dataを保存しない

Scrapyを使用してバスケットボールチームのスケジュールをCSVファイルに保存しようとしています。私はこれらのファイルに次のコードを書かれている： settings.py BOT_NAME = 'test_project' SPIDER_MODULES = ['test_project.spiders'] NEWSPIDER_MODULE = 'test_project.spiders'

0熱

3答えて

Python - Scrapy - URLのリストを取得してクロールするクローラを作成する

URLのリストを取得してクロールするパッケージ "Scrapy"でスパイダーを作成しようとしています。私は答えのためにstackoverflowを検索しましたが、問題を解決する何かを見つけることができませんでした。で：私は、印刷self.start_urlsながら、印刷された以下の情報を取得 Spider = Try(urls = [r"https://www.example.com"]) p