pipelines.pyでスパイダーv/v経由でdbに書き込む

Question

私の治療スクリプトが、自分のMySQLデータベースにpipelines.pyの代わりにスパイダー本体に書き込むことは重要ですか？これはクモを減速させますか？ item.pyに記載されているアイテムはありません。

フォローアップ：どのように、いつpipelines.pyが呼び出されますか？利回り計算書の後に何が起こるか？

Answer 1

これは実装に大きく依存しますが、あまりブロックしないような方法でデータベース書き込みを実装すると、あまりパフォーマンスはあまり変わりません。

しかし、かなり大きな構造的な違いがあります。 Scrapyのデザイン哲学は、スパイダーをきれいに理解できるようにするために、ミドルウェアとパイプラインの使用を強く推奨しています。

言い換えれば、クモの巣ビットはデータをクロールする必要があり、ミドルウェアは要求と応答を変更し、パイプラインは返されたデータを（データベースやファイルに置くなどの）外部ロジックによってパイプ処理する必要があります。

方法とpipelines.pyが呼び出される：

質問あなたのフォローアップについては？利回り計算書の後に何が起こるか？

は Architectual Overview documentation pageを見て、あなたは深く掘るしたい場合は、scrapyがその周りだけ大きな、スマートなフレームワークであるため twisted asyncroniousフレームワークを理解する必要があると思います。

Answer 2

最高のパフォーマンスが必要な場合は、ファイル（例：csv）にアイテムを格納し、クロールが完了したらデータベースに一括挿入します。 csvデータの場合、mysqlimport（MySQL bulk insert from CSV data filesを参照）を使用できます。やりがいのあるアプローチは、挿入中にブロックしないことです。これには、Twisted RDBMS APIを使用するパイプラインを使用する必要があります。