（パイプラインの）ScrapyプロジェクトでDjangoのモデルを使用してください

Question

これは以前に尋ねられましたが、常に出てくる答えはDjangoItemです。しかし、それはそれで述べgithubのはということです：...これはの核心である

十分に拡張しないことがあり、多くの場合、

ない（例えばウェブクローラなど）の書き込み集中型アプリケーションに適しています私の問題は、私は私がのpython manage.pyシェルを実行したときに私ができるのと同じ方法で使用し、私のDjangoのモデルと対話したいと私はmyapp.modelsからを行うMODEL1をインポートします。クエリを使用してlike seen here.

私は相対的なインポートを試み、私のdjangoアプリ内で、私の役に立たない両方の治療プロジェクト全体を移動している。

このために私の治療計画を動かすべきですか？どのようにして、私が利用できるすべてのメソッドを再作成/使用することができますか？

ありがとうございます。

Answer 1

ここでは、私はdjangoの中でscrapyを使用するサンプルプロジェクトを作成しています。そして、パイプラインの1つでDjangoモデルとORMを使用します。

https://github.com/bipul21/scrapy_django

ディレクトリ構造は、あなたのDjangoプロジェクトを開始します。 この場合、プロジェクト名はdjango_projectです。 は、一度、あなたのscrapyプロジェクトの設定でscrapy_projectここ

つまり、あなたのscrapyプロジェクトを作成し、ベースのプロジェクト内の設定に次の行を追加しますiは、単純なクエリを作ったパイプラインでジャンゴ

import os 
import sys 
import django 

sys.path.append(os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))), "..")) 
os.environ['DJANGO_SETTINGS_MODULE'] = 'django_project.settings' 

django.setup() 

を初期化します質問モデル

from questions.models import Questions 

class ScrapyProjectPipeline(object): 
    def process_item(self, item, spider): 
     try: 
      question = Questions.objects.get(identifier=item["identifier"]) 
      print "Question already exist" 
      return item 
     except Questions.DoesNotExist: 
      pass 

     question = Questions() 
     question.identifier = item["identifier"] 
     question.title = item["title"] 
     question.url = item["url"] 
     question.save() 
     return item 

モデルスキーマなどの詳細については、プロジェクトをチェックインできます。