CrawlerProcessでカスタム設定をスクレイピーで渡す方法はありますか？

Question

私は2つのCrawlerProcessを持っています。それぞれは異なるスパイダーを呼び出しています。

storage_settings = {'FEED_FORMAT': 'csv', 'FEED_URI': 'foo.csv'} 
process = CrawlerProcess(get_project_settings()) 
process.crawl('ABC', crawl_links=main_links, custom_settings=storage_settings) 
process.start() 

と私のクモで、私は、引数として、それらを読んで：

def __init__(self, crawl_links=None, allowed_domains=None, customom_settings=None, *args, **kwargs): 
    self.start_urls = crawl_links 
    self.allowed_domains = allowed_domains 
    self.custom_settings = custom_settings 
    self.rules = ...... 
    super(mySpider, self).__init__(*args, **kwargs) 

私はCSVファイルへのクモの出力を保存するために、これらのプロセスのいずれかにカスタム設定を渡したい、私はこれを行うことができると思いました

しかし、これらのカスタム設定についてプロジェクト設定ファイル "settings.py"をどのように伝えることができますか？私はそれらをハードコーディングするのではなく、自動的にそれらを読みたいと思っています。

Answer 1

これらの設定については、ファイルには言えません。クローラの設定とスパイダー設定の間にはおそらく混乱があります。治療中には、この訓練の時点での餌のパラメタは、クモのプロセスに渡され、スパイダには渡される必要はありません。クローラ・プロセスにパラメータとして渡す必要があります。私はあなたと同じユースケースを持っています。あなたがすることは、現在のプロジェクト設定を読み込んで、各クローラプロセスに対してオーバーライドします。以下のサンプルコードを参照してください：

process.crawl()への呼び出しが正しくありません。スパイダーの名前は最初の引数として文字列として渡されるべきです：process.crawl('MySpider', crawl_links=main_links)そしてもちろんMySpiderはスパイダークラスのname属性に与えられた値にする必要があります。

Answer 2

crawl()メソッドに設定を渡さないでください。また、最初の引数としてあなたのクモのクラス名をcrawl()に渡します。

from my_crawler.spiders.my_scraper import MySpider 
from scrapy.crawler import CrawlerProcess 
from scrapy.settings import Settings 
from scrapy.utils.project import get_project_settings 
from twisted.internet import reactor 

process = CrawlerProcess(get_project_settings()) 

process.crawl(MySpider(), crawl_links=main_links) 

process.start()