2017-12-05 10 views
1

私は3回目の治療プロジェクトに入っていて、もう少し大胆になってきています。 私は非技術的なユーザーにcmdをラインまたは好ましくは.exeのスクリプトまたはexeを使用して複数のスパイダーを実行するようにスクレーパーを設定するにはどうすればよいですか?

まずはので、どちらかを、このプログラムを提供したい、私はこの思い付いたドキュメントを使用して、Crawler.Processを使用して開始しました:

process = CrawlerProcess() 
process.crawl(FirstSpider) 
process.crawl(SecondSpider) 
process.crawl(ThirdSpider) 
process.crawl(LastSpider) 
process.start() 

各スパイダーは独自の.pyファイルに入っていますので、私はそれぞれのスパイダーを1つのスパイダーにインポートし、このコードブロックを下部に配置しました。

コマンドダイアログでこれを実行しようとしましたが、他のスパイダーをインポートしようとするとscraper.listが存在しないというエラーが返されます。

私は、ファイル内から通常のスクロールクロールxyzを使用してVSコード端末を使用して各スクレーパを実行できます。エンドユーザはどのようにまとめますか?

ありがとうございます。

+0

は常に完全なエラーメッセージ(トレースバック)テキストとしてinquestion(、ないスクリーンショットを置きます) – furas

答えて

0

ありがとう、私は省略のためにお詫び申し上げます、私は自分自身の問題を解決した。スクリプトはファイル構造が深すぎて、さらに移動しなければなりませんでした。 Scraper.itemsフォルダの内容を読み取ることができませんでした。なぜなら、ファイルパス上を移動していなかったからです。

私はほとんどこのプロジェクトを包んましたが、私は輸出国とのトラブルを抱えている、私はここでその質問を掲載しました: Using Scrapy JsonItemsLinesExporter, returns no value

関連する問題