TypeError：正確に1つの引数（0が指定されている） - Scrapy

Question

私はscrapyで作業しています。私は、リクエストごとに一意のユーザエージェントを生成したいと考えています。私は、次のしている：

class ContactSpider(Spider): 
    name = "contact" 

    def getAgent(self): 
     f = open('useragentstrings.txt') 
     agents = f.readlines() 
     return random.choice(agents).strip() 

    headers = {   
     'user-agent': getAgent(), 
     'content-type': "application/x-www-form-urlencoded", 
     'cache-control': "no-cache" 
    } 

    def parse(self, response): 
     open_in_browser(response) 

getAgentは、フォームのリストからエージェントを生成します。私はこれを実行すると

"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" 

は、しかし、私は得る：

File "..spiders\contact_spider.py, line 35, in <module> 
    class ContactSpider(Spider): 
    File "..spiders\contact_spider.py", line 54, in ContactSpider 
    'user-agent': getAgent(), 
TypeError: getAgent() takes exactly 1 argument (0 given) 

Answer 1

getAgent()はインスタンスでありますメソッドと、引数としてContactSpiderインスタンスが表示されます。しかし、問題は、あなたのクモのクラスのメンバであることを、この機能を必要としない - 別の「ヘルパー」/「utilsの」/「LIBS」モジュールとインポートに移動：

from helpers import getAgent 

class ContactSpider(Spider): 
    name = "contact" 

    headers = {   
     'user-agent': getAgent(), 
     'content-type': "application/x-www-form-urlencoded", 
     'cache-control': "no-cache" 
    } 

    def parse(self, response): 
     open_in_browser(response) 

参照してください。また：Difference between Class and Instance methods。

---

あるいは、別のアプローチとして、シームレスかつランダムにユーザエージェントを回転させることになるscrapy-fake-user-agent Scrapyミドルウェアがあります。ユーザーエージェント文字列はfake-useragent moduleによって提供されます。