phantomjでプロキシを使用する場合、デフォルトのpython user-agentが使用されます。Proxy + Selenium + PhantomJSはUser-Agentを変更できません
実行:Ubuntuの14.04
service_args = []
if self.proxy:
service_args.extend([
'--proxy={}:{}'.format(self.proxy.host, self.proxy.port),
'--proxy-type={}'.format(self.proxy.proto),
])
if self.proxy.username and self.proxy.password:
service_args.append(
'--proxy-auth={}:{}'.format(self.proxy.username, self.proxy.password)
)
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/53 "
"(KHTML, like Gecko) Chrome/15.0.87"
)
self.webdriver = webdriver.PhantomJS(service_args=service_args, desired_capabilities=dcap)
とエラーでのPython 3.5.1:同様の質問で
Message: Error Message => 'Unable to find element with css selector '#navcnt td.cur'' caused by Request => {"headers":{"Accept":"application/json","Accept-Encoding":"identity","Connection":"close","Content-Length":"105","Content-Type":"application/json;charset=UTF-8","Host":"127.0.0.1:39281","User-Agent":"Python-urllib/3.5"}...
問題は、サーバーでユーザーエージェントを設定することで、プロキシプロバイダによって引き起こされたという結論がありましたしかし、私はそれがクロムとプロキシを使用してそれを変更することができますので、ここではそれが疑わしいです。