JSONレスポンスをScrapingする

Question

Scrapyを使用してJSONを返すWebリクエストをスクラップするにはどうすればよいですか？たとえば、JSONは次のようになります。私は、特定の項目（上記で例えばnameとfax）をこすりおよびCSVに保存するために探していることになる

{ 
    "firstName": "John", 
    "lastName": "Smith", 
    "age": 25, 
    "address": { 
     "streetAddress": "21 2nd Street", 
     "city": "New York", 
     "state": "NY", 
     "postalCode": "10021" 
    }, 
    "phoneNumber": [ 
     { 
      "type": "home", 
      "number": "212 555-1234" 
     }, 
     { 
      "type": "fax", 
      "number": "646 555-4567" 
     } 
    ] 
} 

。

Answer 1

html応答にScrapyのHtmlXPathSelectorを使用した場合と同じです。唯一の違いは、あなたが応答を解析するためにjsonモジュールを使用する必要があるということです。

class MySpider(BaseSpider): 
    ... 


    def parse(self, response): 
     jsonresponse = json.loads(response.body_as_unicode()) 

     item = MyItem() 
     item["firstName"] = jsonresponse["firstName"]    

     return item 

お役に立てば幸いです。

Answer 2

JSONがロードされていない可能性があるのは、前と後に一重引用符があることです。 ``負荷としてstr`または `unicode`オブジェクトではなく、scrapy応答を必要としますが、` json.loads（response.body_as_unicodeを（））を使用することをお勧めします

json.loads(response.body_as_unicode().replace("'", '"'))