データをスクレイプしたいのですが、初めて再リクエストすると、ボディを再び取得できません。Pythonリクエスト - 2回目のリクエストでボディを取得できません
私のコード:
url="http://www.carparts.com/results/?N=0&Nr=AND%28universal%3A0%29&Ntk=Main&Ntx=mode+matchallany&Nty=1&PN=0+5727&VN=4294953018+4294962799+4294962221+4294957507+4294965468&universal=0"
request_headers = {
"Accept-Language": "en-US,en;q=0.5",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Cache-Control": "no-cache, no-store, must-revalidate,post-check=0, pre-check=0",
"Content-Length":"22035",
"keep_alive":"false",
"Content-Type":"text/html; charset=UTF-8",
"Vary":"Accept-Encoding",
"Pragma":"no-cache"
}
pageSkimData = requests.get(url, headers=request_headers)
treeSkimData = html.fromstring(pageSkimData.content)
Iループの中であなたの要求は?あなたは絶えずリクエストを送信していますか? 2番目の試みの「エラー」をステータスコードと共に提供できますか? – glls
私はこのコードを2回実行しようとします。 2回目に、特定のdivのデータを取得できません。それは誤りではありません。それは成功です。しかし、私が望む結果データは、2回目に生成されません。私はPostman、ブラウザでそれを試してみました。大丈夫です。 –
ページコンテンツも生成しますが、1回目とは異なります。だから私は正しい要素を得ることができません。 –