プロキシを使用している場合、Dryscrapeレスポンスは常に「Product unavailable」と返されます。

Question

私はdryscrapeを使用してjavascriptベースのウェブサイトをスクラップしようとしていて、プロキシを使用していないときに適切なコンテンツを取得していました。プロキシを使用している場合は、「Product unavailable」を返します。コードスニペットは次のとおりです。

session = dryscrape.Session() 
session.set_proxy('host=<ipaddress>', port=80, user='<username>', password='<password>') 
session.visit(url) 

解決方法を教えてください。

Answer 1

問題が見つかりました。実際問題はプロキシではありませんでした。すべてうまくいっていた、問題はヘッダーであった。この問題は、要求ヘッダー（User-Agent、Accept-Languageなど）を設定することで修正できます。

set_header(key, value) 

このメソッドは、Dryscrapeセッションオブジェクトで使用できます。