スクラップスプラッシュでスプラッシュタイムアウトを設定するにはどうすればよいですか？

Question

scrapy-splashを使用してWebページをクロールし、ドッカーでスプラッシュサービスを実行します。

commond：

docker run -p 8050:8050 scrapinghub/splash --max-timeout 3600 

しかし、私は504エラーを得ました。

"error": {"info": {"timeout": 30}, "description": "Timeout exceeded rendering page", "error": 504, "type": "GlobalTimeoutError"} 

私はsplash.resource_timeout、request:set_timeoutまたはSPLASH_URL = 'http://localhost:8050?timeout=1800.0'を追加しようとするが、何も変わっていません。

ありがとうございました。

Answer 1

私はscrapy-splashパッケージを使用して、このようなSplashRequestのargsパラメータでタイムアウトを設定します。

yield scrapy_splash.SplashRequest(
    url, self.parse, endpoint='execute', 
    args={'lua_source': script, 'timeout': 3600}) 

それは私のために動作します。