2017-08-13 20 views
0

私はJS私は動的なコンテンツをこするながら回転するプロキシサービスを利用するためにscrapy requestexcuterender.html両方のエンドポイントを適用するにはどうすればよいの要求回転プロキシでscrapy-splashを使用するには?

def start_requests(self): 
    for url in self.start_urls: 
     yield scrapy.Request(
      url, 
      self.parse, 
      meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5} } } 
     ) 

として以下を使用してコンテンツをこするとだけ成功しましたか?

答えて

1

executerender.htmlの両方のエンドポイントを使用する必要はありません。executeがより一般的です。プロキシに関しては、executeエンドポイントはproxyパラメータ(documentationを参照)をサポートします。プロキシURLまたはProxy Profileのいずれかの名前です。

関連する問題