splash-js-render

2熱

1答えて

スクラップスプラッシュでページ全体が正常にレンダリングされたことを確認するにはどうすればよいですか

スプラッシュを使用して全体のWebサイトをクロールしたときに問題が発生しました。全ターゲットページをレンダリングすることによって問題が発生しました。レンダリングジョブが完了したときにサポートされます。これは、レンダリング結果から情報の一部分を取得することを意味しますが、他のレンダリング結果からすべての情報を取得できます。ここでは私のコードです： yield SplashRequest(url,s

3熱

1答えて

Scrapy-Splashを使用したプロキシサーバー

ローカルのスプラッシュインスタンスでプロキシサーバーを動作させようとしています。私はいくつかの文書を読みましたが、実行可能な例は見つかりませんでした。このhttps://github.com/scrapy-plugins/scrapy-splash/issues/107が原因であると私の注意を喚起されました。私はもはやそのトレースバックを取得していませんが、依然としてプロキシを使用してスプラッシュ

1熱

1答えて

Scrapy SplashリクエストからCookieを生成するにはどうすればよいですか？

だから私はこのようなScrapyスプラッシュ要求作った：問題 def start_requests(self): lua_script = ''' function main(splash) local url = splash.args.url assert(splash:go(url)) assert(splash:wait(0.5))

0熱

1答えて

最初のページよりもぼんやりとしたレンダリング

私はウェブサイトを掻き集めようとしていますが、コンテンツが動的に作成されているため、すべてのページでスプラッシュを使用する必要があります。今すぐ最初のページだけをレンダリングしますが、コンテンツページやページングページはレンダリングしません。はここのコードです：私はオフに思いつく限りの方法でそれをプレイした import scrapy from scrapy_splash import Sp

1熱

2答えて

MacでDockerが動作していないSplashサーバ

私はDockerでSplashサーバを設定して、javascriptをscrapy用にレンダリングしようとしています。私はDocker Toolboxをダウンロードしてインストールしました（CPU MMUのサポートがないため、MacBook pro 2009にDockerの最新バージョンがインストールされません）。 Dockerクイックスタートターミナルで、 "docker run -p 502

0熱

1答えて

失敗したアイテムを再試行するにはどうすればよいですか？

私は、Javascript主導のIFRAMEd HTMLページから情報を抽出するために、scrapy-splashを使用しています。時々、私のスプラッシュJavascript関数はブラウザの条件によっては失敗し、{"error": "NotSupportedError: DOM Exception 9"}のようなエラーメッセージを返します。私のアイテムのパイプラインで私はきれいな私の結果を維持す