1
私はscrapydでHTTPCACHEを使用しようとすると、私は次のエラーを取得:scrapyプロジェクトがscrapydし展開する際に動作していないHTTPCACHE
[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir
私はscrapydでHTTPCACHEを使用しようとすると、私は次のエラーを取得:scrapyプロジェクトがscrapydし展開する際に動作していないHTTPCACHE
[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir
問題は相対パスhttpcache
を使用することHTTPキャッシュのデフォルトです。
これは、スパイダーを通常はコマンドラインから実行するときに機能しますが、サービスとして実行しているときは機能しません。
解決策は、絶対パスにHTTPCACHE_DIR
[docs]の設定を設定することです。
ie:サーバー上の絶対パス...そうです。スパイダーがサーバーにデプロイされているクライアントであっても、クライアントはサーバーのファイルシステム上のどこにキャッシュを置くかをscrapydサービスに指示します。 dirはscrapydプロセスによって書き込み可能でなければなりません。 –
それでもrelavantの回答がありますが、ドキュメントへのリンクは[こちら](https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-dir)です。 – bartaelterman