2017-05-11 14 views
1

私はScrapyとPythonを初めて使うので、ドキュメントを見てもおそらく何か不足しています。Scrapy - アイテムを保存して新しいURLを解析する

私の星のURLはいくつかのサッカートーナメントを持っている、すべてのトーナメントは複数の試合があります。最初のパーサーはすべてのトーナメントを獲得し、マッチを得るために各トーナメントに新しいリクエストを出します。 私は大会の情報を保存する方法を見つけようとしてから、試合の解析を依頼します。

def parse_matches(self, response): 
     for match in response.css('#tup_type_1_mkt_grps .rowOdd'): 
      #fetching the tournament properties 
      tournament = TournamentItem(name=name, country=country...) 
      #save the tournament (I don't know how) 
      yield scrapy.Request(match.css('a[href]::attr(href)').extract_first(), callback=self.parse_bets) 

誰もがこれを行う方法を考えることができます:私の心の中のようなものでしょうか?

答えて

1

私はそれを行う方法を見つけました(私は正しかった、私は何か重要なものを欠いていた)。パイプラインを作成して項目をデータベースに格納することができますが、同時に解析するURLを送信し続けることができます。私は混乱していて、両方が一緒に暮らすことができないことを強く願った。

関連する問題