scrapy-splash

1熱

1答えて

私は次のウェブサイトを削っています：https://www.climatempo.com.br/climatologia/558/saopaulo-sp。 2番目のドロップダウンメニューには最初のものに応じて2番目のメニューがあるので、私はscrapyとsplashを使ってscrapy-splashを選択します。最初に状態を選択し、次に都市を選択することで、場所の変更を自動化する必要があります。

1熱

1答えて

Scrapy SplashリクエストからCookieを生成するにはどうすればよいですか？

だから私はこのようなScrapyスプラッシュ要求作った：問題 def start_requests(self): lua_script = ''' function main(splash) local url = splash.args.url assert(splash:go(url)) assert(splash:wait(0.5))

0熱

1答えて

splashRequestで投稿要求をscrapy_splashに送信する方法

私はSplashRequestを以下のコードでエンドポイント= '実行'と使用してポストリクエストを送信しようとしましたが、結果は成功しなかったことを示しています。 import re import sys import os import scrapy from scrapy_splash import SplashRequest from crawler.items import C

0熱

1答えて

スクラップスプラッシュレンダリングjsページに関する問題

動的に読み込まれたコンテンツを含むウェブページでスクラップの問題が発生しています。私はクロームのdevのツールでチェックする場合 import scrapy from scrapy_splash import SplashRequest class MySplashSpider(scrapy.Spider): # requires the scrapy-splash docker

1熱

1答えて

アンカータグ<a href = "#"> using scrapy

I am scraping manulife を含むWebページをこする私は、次のページに行きたい、私が調べたときに「次」私が手： <span class="pagerlink"> <a href="#" id="next" title="Go to the next page">Next</a> </span> フォローする正しいアプローチ何ができますか？ # -*- codin

0熱

1答えて

スプラッシュのレスポンスでjavascriptがHTMLとして表示されない

どうかお手伝いできますか？私はスプラッシュがレンダリングされたHTMLレスポンス与えなかった理由を理解しようとしてこだわっている：まず、正常にエンドポイントにロードされ、その後 SplashRequest FormRequest scrapyでログインをしかし、私はresponse.bodyを印刷するとき、ページはレンダリングされませんでした。追加情報： - このページはスクロールするとさら

0熱

1答えて

Ajax（scrapy）がロードされたフォームでログイン：セレンとスプラッシュスプラッシュ

私が望むウェブページをスクラップするには、ログインが必要です。ログインフォームにアクセスするには、ボタンをクリックする必要があります。このボタンはフォームを表示するAJAXリクエストを作成します。私はTorとprivoxyを通して私の要求を渡すためにミドルウェアを使ってScrapyを使います。私はボタンをクリックするためにセレンを使用することができましたが、（私はそれが正しいとすれば）、私は治

1熱

1答えて

Xpathが<table>の内容を<a>に返さない（<tbody>は問題ありません）

次のコードでは、scrapy + scrapy-splash + Pythonを使用しています。 https://www.hltv.org/matches コールバック「パース」関数での私のコードは次のとおりです： match_days = response.xpath("//div[@class = 'upcoming-matches']//div[@class = 'match-day']")

0熱

1答えて

非常に単純なScrapy + Splashプロジェクト

私は非常に簡単なScrapy + Splashプロジェクトを開発して、JavaScriptのウェブサイトをクロールします。これは私のコードです： splashtest.py： import scrapy from scrapy_splash import SplashRequest class SplashSpider(scrapy.Spider): name = 'splash_