2017-02-27 88 views
0

.scrapyフォルダを削除してキャッシュを削除しようとしています。通常は動作しますが、今はスパイダーを実行すると常にキャッシュされた応答が得られます。私はフォルダが削除されて以来どこから取得するのか分からない。私はすでにスパイダー名/フォルダ名を変更しようとしました/新しいプロジェクトを作成し、それにコードを貼り付けようとしました。Scrapy Cacheを削除しますか?

さらに疑問に思うのは、Process Monitorツールは私が最初に作成されていない空のフォルダから開かれているキャッシュファイルです。キャッシュファイルは開いたり閉じたりしていますが、フォルダには表示されません。私は前にそのフォルダにそれらを見ていないし、また、スパイダーを実行した後にそれらを見ていない。彼らは隠されていない、隠しファイルを表示するオプションがチェックされています。

私が想像することができる唯一のことは、何とかそれらをデータベースに保持し、それらをキャッシュフォルダから取り出したものとして表示することです。しかし、この場合、なぜマネージャーが作成および削除されているファイルを表示しないのでしょうか?名前を変更して新しいフォルダにプロジェクトを貼り付ける3時間後、私はここに夢中になりますが、キャッシュはまだそれにハングアップします。

アップデート:私は、プロセスモニタでフィルタを適用していると私は、ファイルが作成されて見ることができますが、私は(私が削除したものを見るためにSetDispositionInformationFilesを使用)、それらが削除されて見ることができません。また、フォルダのサイズは実際には小さい(20KB)ので、ウィンドウが間違って報告されない限り、そこから私の巨大なキャッシュが取られることはありません。

プロセスマネージャと非表示のキャッシュファイルを残しておく... Scrapyがキャッシュをどこから取得するか他の方法を教えてください。 (キャッシュを無効にすることはできません。キャッシュ機能が必要です。古いキャッシュを破棄する必要があります)

答えて

1

dont_filterがtrueに設定されていて、代わりに同じリンクの代わりに5Kのリンクは得られませんでしたが、同じリンクは5Kのリンクでした。 だから、Scrapy神秘的な行動だけ私の不注意。ちょっと人生レッスンここ:D

関連する問題