Python Scrapy - mysqlからstart_urlsを作成する

Question

spider.pyを使用して、start_urlにMYSQLテーブルのSELECTを挿入しようとしています。私が "scrapy runspider spider.py"を実行すると、出力がなくなり、エラーがなくなっただけです。

私はpythonスクリプトでSELECTクエリをテストし、start_urlにはMYSQLテーブルからのエントリが入力されます。

spider.py

from scrapy.spider import BaseSpider 
from scrapy.selector import Selector 
import MySQLdb 


class ProductsSpider(BaseSpider): 
    name = "Products" 
    allowed_domains = ["test.com"] 
    start_urls = [] 

    def parse(self, response): 
     print self.start_urls 

    def populate_start_urls(self, url): 
     conn = MySQLdb.connect(
       user='user', 
       passwd='password', 
       db='scrapy', 
       host='localhost', 
       charset="utf8", 
       use_unicode=True 
       ) 
     cursor = conn.cursor() 
     cursor.execute(
      'SELECT url FROM links;' 
      ) 
    rows = cursor.fetchall() 

    for row in rows: 
     start_urls.append(row[0]) 
    conn.close() 

Answer 1

より良いアプローチは、start_requestsメソッドをオーバーライドすることです。

populate_start_urlsとよく似たデータベースにクエリを実行し、Requestというオブジェクトのシーケンスを返すことができます。

あなただけの次の行をstart_requestsにごpopulate_start_urls方法の名前を変更し、変更する必要があります：

for row in rows: 
    yield self.make_requests_from_url(row[0]) 

Answer 2

__init__に移入を書く：

get_start_urls()戻りURLを仮定し

def __init__(self): 
    super(ProductsSpider,self).__init__() 
    self.start_urls = get_start_urls() 

。