スクラムスパイダーのstart_urlsで投稿データを送信する方法

Question

投稿データのみをサポートするウェブサイトをクロールしたいですか？すべてのリクエストの照会パラメータ を投稿データに送信します。これを達成する方法は？

Answer 1

POSTリクエストは、scrapyのRequestまたはFormRequestクラスを使用して行うことができます。

また、start_urlsプロパティの代わりにstart_requests()メソッドを使用することを検討してください。

例：

from scrapy.http import FormRequest 

class myspiderSpider(Spider): 
    name = "myspider" 
    allowed_domains = ["www.example.com"] 

    def start_requests(self): 
     return [ FormRequest("http://www.example.com/login", 
        formdata={'someparam': 'foo', 'otherparam': 'bar'}, 
        callback=self.parse) ] 

お役に立てば幸いです。