遅延なしでCSVへの書き込みを書く

Question

どのようにしてCSVで遅延なく書き込むように設定できますか？

scrapy crawl spider_1を実行し、spider_1に予想される200個のアイテムがあるとすると、治療はcsvではなくバッチで書き込まれます。私はこれを設定する場所がわかりません。

私は

CONCURRENT_REQUESTS = 1 

CONCURRENT_ITEMS = 1 

を試みたが、まだそれは15+バッチでcsvファイルに書き込みます。ここで

は、彼らが道私はそれをテストして..です

while sleep 2; do cat results/price.csv | wc -l; done; 

結果は、それが20th最初32th項目を書き込む

0 
    35 
    35 
    35 
    35 
    52 
    52 
    52 
    52 
    70 
    70 

お知らせ18thました。

私が欲しいのは、データを取得した直後にアイテムを書き込むことです。 どうすればいいですか？

Answer 1

私がコメントしたように、アイテムをファイルに書き込むとき、そのアイテムはすぐにディスクに書き込まれず、バッファがいっぱいでないか、バッファをフラッシュしない限りバッファリングされます。各アイテムのバッファをフラッシュしないCsvItemExporterを使用するので、csvwriter does not save to file whayを参照してください。この機能が必要な場合は、flushを呼び出す必要があります。私はまだコードをテストしていない

class MyCsvItemExporter(CsvItemExporter): 
    def export_item(self, item): 
     if self._headers_not_written: 
      self._headers_not_written = False 
      self._write_headers_and_set_fields_to_export(item) 

     fields = self._get_serialized_fields(item, default_value='', 
              include_empty=True) 
     values = list(self._build_row(x for _, x in fields)) 
     self.csv_writer.writerow(values) 
     #flush 
     self.stream.flush() 

：

1つのオプションは、あなたがCsvItemExporterを拡張し、export_item機能、例えばを上書きすることができるということです。また、読む価値があるpython flush to fileに関するトピックもあります。

希望します。 ありがとう