2017-11-14 9 views
-1

私は、warframe.marketの非常に単純なWebスクレーパーを作成しようとしているスクラップチュートリアルに従っています。私は学校から約1年のコーディング経験を持っていますが、Pythonの経験はありません。私は単にウェブサイトからアイテムの価格を取得したい。私はページをこすりするために、次を使用:レスポンスには何も含まれていません

scrapy shell "https://warframe.market/items/hydroid_prime_set" 

その後、私はこすりしようとしている個々の要素を見つけるために、Webページを視察しました。私は私が望んでいた結果を表示しようとするには、このコマンドを使用:

response.css("div.order-row.d-flex.col-12").extract() 

これは動作しませんでしたので、私は私が掻き取っていたものを見るためにview(response)を使用し、そして私のcmdはちょうどこの時点で延々と待ちます。

HTTPSでスクレイピングが停止していますか?私の回答で間違ったCSSを選択していますか?ウェブページが大きすぎますか?誰かが私がどこに間違っていたかを教えてもらえますか?

おかげ

答えて

0

応答は、例えばシェルでこれをしようと、空ではありませんが、それは(あなたがresponse.bodyを検査することを検証することができます)JavaScriptを使用してレンダリングだ:

import json 
data = json.loads(response.css('#application-state::text').extract_first()) 
for order in data.get('payload',{}).get('orders', []): 
    print '"{}" price: {}'.format(order.get('platinum'), 
            order.get('user',{}).get('ingame_name')) 
関連する問題