Scrapyクッキー受け入れる形

Question

私が考慮され、すなわち、さまざまなオプションを試してみた： - FormRequests - 私が立ち往生続ける渡すクッキー

悲しいこと

：https://www.marktplaats.nl/cookiewall/?target=https%3A%2F%2Fwww.marktplaats.nl%2F

class MarktplaatsSpider(CrawlSpider): 
    name = 'MarktplaatsSpidertest' 
    source = 'Markplaats.nl' 
    allowed_domains = ['marktplaats.nl'] 
    start_urls = ['https://www.marktplaats.nl/'] 

    rules = [Rule(LinkExtractor(allow=()), callback='parse_item',follow=True)] 

    def start_request(self): 
     form_data = {'CookieOptIn':'true'} 
     request_body = json.dumps(form_data) 
     yield scrapy.Request('https://www.marktplaats.nl', 
          method="POST", 
          body=request_body, 
          headers={'Content-Type': 'application/json; charset=UTF-8'},) 

    def parse_item(self, response): 
     print(response.url) 
     item['URL'] = response.url 

     yield item(source=self.source, URL=item['URL'], hash = get_hash(response.url)) 

いくつかの他のウェブサイトどこがあります。私は同じ問題を横断して来る。私は単に自分のスパイダーがどのようにページにアクセスできるのか分かりません。

誰でも私を助けたり、正しい方向に向けることができますか？

よろしく、

Durk

Answer 1

はこれを試してみてください。

cookies = { 
    'CookieOptIn': 'true', 
    'luckynumber': '1896761001', 
    'MpSession': '9ff31f05-36fd-4570-9cdc-e1800bf682fe', 
} 

headers = { 
    'Pragma': 'no-cache', 
    'DNT': '1', 
    'Accept-Encoding': 'gzip, deflate, sdch, br', 
    'Accept-Language': 'en-US,en;q=0.8', 
    'Upgrade-Insecure-Requests': '1', 
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36', 
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 
    'Cache-Control': 'no-cache', 
    'Referer': 'https://www.marktplaats.nl/cookiewall/?target=https%3A%2F%2Fwww.marktplaats.nl%2F', 
    'Connection': 'keep-alive', 
} 

yield Request('https://www.marktplaats.nl/', headers=headers, cookies=cookies)