2017-09-26 13 views
1

Scrapyd自体(Scrap Crawl Spider -s JOBDIR = jobdir/spider-1)と同じように、Scrapydを使用してクロールを一時停止/継続する方法がないようです。 私が見つけた唯一の解決はここにあった:Scrapyd一時停止/続行ジョブ

https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ

しかし、私は考えを理解していません。

スクラップでジョブを一時停止/継続することは可能ですか?お時間を

おかげ

答えて

0

考え方は以下の通りです:

あなたは追加の引数を貼り付けることができcmdからあなたのクモを実行すると、たとえば:あなたはエンドポイントschedule.jsonScrapydを使用する場合scrapy crawl myspider -s JOBDIR=crawls/somespider-1

いくつかの設定を貼り付けることもできます。あなたがscrapyd-clientを使用している場合、これは次のようになります。

s = {'JOBDIR': 'crawls/somespider-1'} 
job = api.schedule(project_name, spider_name, settings=s) 

は、それが完了したら、ジョブをキャンセルすることができます。次の時間、同じ仕事をするとき - scrapydは前の仕事を再開します

+0

申し訳ありませんが、このオプションを書く場所はわかりません。もし私がクローラを実行しているなら(curl http:// localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider)あなたのコードはどこに貼り付けられますか? – Pachvarsh

+0

この場合、次のようにコールすることができます: 'curl localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1' – AndMar

+0

残念ながら、いずれかの仕事。 'curl localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1 jobid = 3123asds5f34141asdfesw324'最初から新しい解析が開始されます。 、ログのみが同じです – Pachvarsh

関連する問題