美しいスープ解析アマゾンのページ

Question

こんにちは私は美しいスープ

リンク使用していますので、本の詳細については、Amazonのページを解析しようとしている：https://www.amazon.com/Dogs-Purpose-Novel-Humans/dp/0765326264/ref=sr_1_1?s=electronics&ie=UTF8&qid=1489776209&sr=1-1&keywords=books

from bs4 import BeautifulSoup 
import requests 

url = raw_input("Enter a website to extract the URL's from: ") 
r = requests.get(url) 

data = r.text 

soup = BeautifulSoup(data, "lxml") 

#Grab book details 
print soup.find("table", {"id": "productDetailsTable" }) 

をしかし、私はこのコードをしようとすると、私はどれを取得していません結果として、私はidのproductDetailsTableが存在すると確信しています、そして、私はダミーhtmlでこのコードを実行しようとすると、URLだけで動作しませんか？

Answer 1

私は、HTMLデータを受信するためにhttps://www.amazon.com/をしなければならなかったhttps://www.amazon.com

にproductDetailsTableを見ていません。

私のやや修正されたPython 3のコードです。

from bs4 import BeautifulSoup 
import requests 

url = input("Enter a website to extract the URL's from: ") 
r = requests.get(url) 

data = r.text 

soup = BeautifulSoup(data, "lxml") 

print(soup.text) 

これはページのhtmlを出力します。

あなたはamazonがスマートであることに気づくでしょう。 htmlにはロボットチェックが含まれています：

if (true === true) { 
var ue_t0 = (+ new Date()), 
    ue_csm = window, 
    ue = { t0: ue_t0, d: function() { return (+new Date() - ue_t0); } }, 
    ue_furl = "fls-na.amazon.com", 
    ue_mid = "ATVPDKIKX0DER", 
    ue_sid = (document.cookie.match(/session-id=([0-9-]+)/) || [])[1], 
    ue_sn = "opfcaptcha.amazon.com", 
    ue_id = 'R8D7EEN5FVS7RWC2M549'; 
} 
Enter the characters you see below 
Sorry, we just need to make sure you're not a robot. For best results, please make sure your browser is accepting cookies. 

Amazonのページを読ませないようにしています。あなたはおそらくrequestsでもっとやらなければならなくて、headersとcookieという情報が含まれています。