治療用シェルリクエストのヘッダーを設定する

Question

USER_AGENTを変更するにはscrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'に変更できますが、リクエストヘッダーを追加するにはどうすればよいですか？

Answer 1

が直接CLIにヘッダを追加する現在の方法はありませんが、あなたのような何かができる：

$ scrapy shell 
... 
... 
>>> from scrapy import Request 
>>> req = Request('yoururl.com', headers={"header1":"value1"}) 
>>> fetch(req) 

これは、その新しい要求を現在のシェルの情報を更新します。