治療が正しく機能していません

Question

私はウェブコンテンツをスクラップしようとしていますが、私はこれに対してScrapyを使用しています。私はすでに何度もこのツールを使用していましたが、いつもうまくいっていましたが、今はウェブサイト「https://careers.dexcom.com/search-results」の1つで機能しなくなりました。

このウェブページにアクセスすると、このセレクタを使用してデータを取得しようとしたときに何も表示されない場合、「ジョブリスト」という項目の「li」が表示されます。ここで

はUがこれまでにしようとしているコードです：

import scrapy 


class BrickSetSpider(scrapy.Spider): 
    name = 'brick_spider' 
    start_urls = ['http://careers.dexcom.com/search-results'] 

    def parse(self, response): 
     SET_SELECTOR = '.jobs-list-item' 
     for brickset in response.css(SET_SELECTOR): 
      print "****************here we go****************" 
      """ 
      NAME_SELECTOR = 'h1 a ::text' 
      yield { 
       'name': brickset.css(NAME_SELECTOR).extract_first() 
      } 
      """ 

Answer 1

ですのでノー、Scrapyの文脈における「ページ」は、クラス「ジョブ・リスト項目」と「LI」を持っていません。リスト項目がAjaxを使用してロードされている間は、純粋なHTML応答です。

ページがScrapyと表示されるのは、scrapy shell http://careers.dexcom.com/search-resultsを使用し、コンソールにview(response)と入力して表示されます。

ジョブフィードを解析するには、Splash（私の意見ではオーバーヘッド）のようなものを使用するか、AjaxフィードURLを探してリクエストし、JSON応答を解析する必要があります。