RefererのURLチェーンを作成しながら、データをスクリーピングしますか？

Question

URLをクロールしている間に参照元チェーンを構築するために使用できる治療モジュールはありますか？

たとえば、私はhttp://www.example.comからクロールを開始し、http://www.new-example.comに移動し、次にhttp://www.new-example.comからhttp://very-new-example.comに移動します。現時点で利用可能なモジュールや実装が、私は他のどのようなオプションを試すことができ、その後がない場合は、その上の

http://www.example.com, http://www.new-example.com 
http://www.example.com, http://www.new-example.com, http://very-new-example.com 

と：

は、私はこのようなURL鎖（CSVまたはJSONファイル）を作成できますか？

Answer 1

はい、すべてのメソッドでアクセス可能なグローバルリストを作成することで参照を追跡できます。

referral_url_list = [] 

def call_back1(self, response): 
    self.referral_url_list.append(response.url) 

def call_back1(self, response): 
    self.referral_url_list.append(response.url) 

def call_back1(self, response): 
    self.referral_url_list.append(response.url) 

スパイダーが検出された後、スパイダーsignalsによって検出される。 csvまたはjsonファイルをシグナル関数