2016-11-29 7 views
7

MacではJupyterがインストールされており、Scrapyプロジェクトのルートフォルダからjupyter notebookと入力するとノートブックが開きます。私はこの時点ですべてのプロジェクトファイルを閲覧することができます。JupyterでScrapyプロジェクトを実行するには?

ノートブックからプロジェクトを実行するにはどうすればよいですか?

私は実行中のタブをクリックすると、ターミナルの下で、私は以下を参照してください

There are no terminals running. 

答えて

4

はそれを達成するには、2つの主要な方法があります。

1. はファイルタブで新しいターミナルを開きます:[新規]> [ターミナル
あなたはスパイダーその後、単に実行します。scrapy crawl [options] <spider>

2. 新しいノートブックを作成し、セル内で実行するようにCrawlerProcessまたはCrawlerRunnerクラスを使用します。

from scrapy.crawler import CrawlerProcess 
from scrapy.utils.project import get_project_settings 

process = CrawlerProcess(get_project_settings()) 

process.crawl('your-spider') 
process.start() # the script will block here until the crawling is finished 

Scrapy docs - Run Scrapy from a script

関連する問題