GET要求を扱う面倒な問題

Question

最初のスクリプトを実行すると結果が取得されますが、2番目のスクリプトを実行すると何も得られません。必要な結果を得るために2番目のスクリプトに欠けているものが見つかりません。最初のスクリプトで使用されたURLは、開発者ツールで見つかった要件と連結されています。パラメータと一緒にベースURLを使用すると、2番目のスクリプトが機能しないのはなぜですか？

import requests 
from lxml import html 
response = requests.get("http://www.ebay.com/sch/i.html?_from=R40&_trksid=p2050601.m570.l1313.TR0.TRC0.H0.Xfunny+bear.TRS0&_nkw=funny+bear&_sacat=237") 
tree=html.fromstring(response.text) 
titles=tree.xpath("//h3[@class='lvtitle']") 
for title in titles: 
    name=title.xpath(".//a[@class='vip']/text()")[0] 
    print(name) 

import requests 
from lxml import html 
payload={'_from':'R40','_trksid':'p2050601.m570.l1313.TR0.TRC0.H0.Xfunny+bear.TRS0','_nkw':'funny+bear','_sacat':'237'} 
headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'} 
response = requests.get("http://www.ebay.com/",data=payload,headers=headers) 
tree=html.fromstring(response.text) 
titles=tree.xpath("//h3[@class='lvtitle']") 
for title in titles: 
    name=title.xpath(".//a[@class='vip']/text()")[0] 
    print(name) 

Answer 1

最初に、あなたのURLはhttp://www.ebay.com/sch/i.htmlです。

wwww.example.com?key1=value1&key2=value2のようなクエリ文字列を作成する場合は、dataではなく、paramsをパラメータとして使用する必要があります。

このコードは機能するはずです。

import requests 
from lxml import html 
payload = {'_from':'R40','_trksid':'p2050601.m570.l1313.TR0.TRC0.H0.Xfunny+bear.TRS0','_nkw':'funny+bear','_sacat':'237'} 
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'} 
response = requests.get("http://www.ebay.com/sch/i.html", params=payload, headers=headers) 
tree = html.fromstring(response.text) 
titles = tree.xpath("//h3[@class='lvtitle']") 
for title in titles: 
    name = title.xpath(".//a[@class='vip']/text()")[0] 
    print(name) 

参考：http://docs.python-requests.org/en/master/user/quickstart/#passing-parameters-in-urls