（scrapy shell response.xpath（））を使用して空の配列を取得するのはなぜですか？

Question

私がresponse.xpath('//div').extract()を実行しても、response.xpath（）が空の配列[]をthis pageに返すのはなぜでしょうか！ 例：

$ scrapy shell https://www.amazon.cn/b/2127529051 
... 
>>> response.xpath('//div').extract() 
[] 

私はホームページからいくつかの結果を得ることができますが、私は多くの他のページから任意の結果を得ることができません。

BTW、私はアマゾンなどをクロールしようとしていません。これは単なる学習目的のためのものです。

私は他のサイトも試しましたが、この問題に直面していなかったので、理由を知りたいと思います。

アイデア？

おかげ

Answer 1

response.xpath('\\div').execute()

は、この行は単に間違っています。まず最初にバックスラッシュの代わりにフロントスラッシュを使用します。また​​はSelectorまたはSelectorListオブジェクトのメソッドではありません（response.xpath（）メソッドによって返される値）。

試してみてください。あなたのコードよりもresponse.xpath("//div").extract()

その他はそれがJavaScriptをオフにして、あなたのクモを見ている正確にものを見るためにview(response)を実行することをお勧めします破壊されます。場合によっては、スパイダーは"//div[@id='name']"が表示されないこともあります。これはjavascriptでロードされているためです。