Scrapy crawlコマンドの出力を保存するには

Question

私が試したscrapy crawlコマンドの出力を保存しようとしています scrapy crawl someSpider -o some.json -t json >> some.text しかし、うまくいきません...どのように出力をテキストに保存できるか教えていただけますかファイル....私はログと情報が治療によって印刷されたことを意味します...

Answer 1

あなたはstderrもリダイレクトする必要があります。あなたはstdoutだけをリダイレクトしています。キーがリダイレクトのソースとして標準エラー出力「を選択し、」数2、である

scrapy crawl someSpider -o some.json -t json 2> some.text

： あなたはこのように何とかそれをリダイレクトすることができます。

あなたが使用することができ、一つのファイルに標準エラー出力と標準出力の両方をリダイレクトしたい場合：出力のリダイレクトの詳細については

scrapy crawl someSpider -o some.json -t json &> some.text

を： http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO-3.html

Answer 2

あなたはこれらの行を追加することができますsettings.py：

LOG_STDOUT = True 
LOG_FILE = '/tmp/scrapy_output.txt' 

そして、通常のクロールを開始：

scrapy crawl someSpider 

Answer 3

runspiderコマンドの出力を取得する場合は、

scrapy runspider scraper.py -o some.json -t json 2> some.text 

これは同様に機能します。