私はいくつかのScrapyクモを書いています。コマンドラインで渡した名前のファイルにデータをエクスポートしました:E:\Anaconda3\envs\Blog2Doc\Lib\site-packages\scrapy\cmdline.py runspider blog2doc_scrapy\spiders\blog_spider.py -o ..\data\out.html
このファイルがすでに存在する場合、このスパイダーは存在するファイルにコンテンツを追加するだけです。出力ファイルが既に存在するかどうかをチェックし、存在する場合は削除する方法。ファイルにエクスポートするには、Blog2DocExporter(BaseItemExporter)クラスを作成します。出力ファイルは開かれていませんが、コンストラクタではすでに開いているファイルオブジェクトを取得します。だから、このエクスポータクラスでは、エクスポートされたファイルがすでに存在するかどうかをチェックすることはできません。Scrapyでエクスポートされたファイルが既に存在するかどうかをチェックする方法?
0
A
答えて
0
出力ファイルを上書きする処理は既知の未解決の問題です。例えば参照:
- output as xml appending to existing file when spider re-executed resulting in invalid xml
- Add a command-line option for overwriting exported file
私は自分自身がサフィックスをインクリメントして、ファイル名を変更するための修正を提案しました。しかし、実装は下位互換性がありません。 あなたはそれにもかかわらず、これが役立つことがあります。https://github.com/scrapy/scrapy/pull/2093
をそれはFileFeedStorage
を変更しますが、あなたは、このようなカスタムフィードストレージクラスを使用するthis other answerに似た何かを実装して見ることができます。
関連する問題
- 1. オブジェクトが既にHashSetに存在するかどうかをチェックする方法?
- 2. ArangoDBにコレクションが既に存在するかどうかをチェックする方法
- 3. レコードが既に存在するかどうかチェックする
- 4. Realmオブジェクトが既に存在するかどうかをチェック
- 5. データが既に存在するかどうかをチェック
- 6. ファイル名が既に存在するかどうかを確認する方法?
- 7. チェックボックスが存在するかどうかチェックする方法PHP
- 8. ラジオボタンがクリックされた後、ラジオボタンが既にチェックされているかどうかをチェックする方法?
- 9. ユーザ名が既にデータベースに存在するかどうかをチェックするc#
- 10. ファイルが別のサーバーに存在するかどうかをチェック
- 11. 他のウェブサイトにファイルが存在するかどうかをチェック
- 12. JavaScriptでネストされたオブジェクトにnullオブジェクトが存在するかどうかをチェックする方法は?
- 13. ユーザ名が既にデータベースに存在するかどうかチェックするPHP PHP
- 14. マップされたネットワークドライブがホスト名で存在するかどうかをチェックする方法C#
- 15. ディレクトリが既にMFC(VC++)に存在するかどうかをチェックする方法?
- 16. 文字列値が既に配列リストに存在するかどうかをチェックする方法は?
- 17. あなたのアンドロイドアプリケーションからFirebaseストレージにファイルが存在するかどうかをチェックする方法は?
- 18. PHP - インデックスがSQL内に既に存在するかどうかをチェック
- 19. Python MySQdbでレコードが存在するかどうかをチェックする方法
- 20. データテーブルに列が存在するかどうかをチェックする方法
- 21. POSTMANにオブジェクトが存在するかどうかをチェックする方法は?
- 22. 結合テーブルに行が存在するかどうかをチェックする方法 -
- 23. グラフがmarklogicデータベースに存在するかどうかをチェックする方法は?
- 24. ReactNativeにプロパティが存在するかどうかをチェックする方法は?
- 25. dllhost.exeにManaged .NET DLLが存在するかどうかをチェックする方法
- 26. パラメータがarraylist内に存在するかどうかをチェックする方法
- 27. 変数がフレックスに存在するかどうかをチェックする方法
- 28. ノードBookshelf.jsフィールドがテーブルに存在するかどうかをチェックする方法
- 29. PHPのクラスのオブジェクトが既に存在するかどうかをチェックする方法は?
- 30. CloudKitゾーンが既に存在するかどうかを確認する方法