Djangoクラス内でScrapy関数を使用できますか

Question

Djangoにウェブサイトを構築しました。 Webクロール機能を使用する必要があります。だから私はScrapyをインストールしました。

scrapy startproject dmoz 

しかし、それは自分のファイルを持つdiffフォルダで動作します。

DjangoクラスでScrapy関数を使用し、データをDjango変数に入れることはできますか？

Answer 1

クロールは時間がかかります。短いHTTP要求とうまく組み合わせることはできません。したがって、Scrapyクロールを有効にするユーザーインターフェイス（おそらくDjangoで書かれた）と、クロールの状態を監視するための共有ストレージを使用する必要があります。

しかし、HTTPリクエストの存続期間中はクロールしたくないでしょう。それは、Scrapyが使われる方法ではありません。