Scrapyクラスでの追加メソッドの定義

Question

Scrapyクラスはどのように実行され、どのように追加メソッドをスパイダークラスに組み込むのですか？ドキュメントから例えば

、：私は、ポーリングデータベースまたは何か他のもののためにいくつかのメソッドを定義したい場合は

import scrapy 

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [ 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
    ] 

    def parse(self, response): 
     filename = response.url.split("/")[-2] + '.html' 
     with open(filename, 'wb') as f: 
      f.write(response.body) 

は、どのように私はそれについて移動して、なぜでしょうか？

Answer 1

次のユースケースを見てみましょう。データベースからクロールするURLを取得します。このため、start_urlsの代わりにstart_requests() methodを使用する必要があります。 （直接MySQLdbドライバを使用して）

サンプルコード：

import MySQLdb 
import scrapy 

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 

    def start_requests(self): 
     db = MySQLdb.connect(host="host", user="user" ...) 
     cursor = db.cursor() 

     cursor.execute("SELECT url from url_table") 
     requests = [scrapy.Request(url=row[0]) for row in cursor.fetchall()] 

     cursor.close() 

     return requests 

    def parse(self, response): 
     filename = response.url.split("/")[-2] + '.html' 
     with open(filename, 'wb') as f: 
      f.write(response.body)