0
ローカルのpage_sourceファイルをスクラップしています。 Scrapyはparse_nextfile()機能を完全にスキップしました。これは、parse()関数では完全に機能します。なぜそれが起こるのか分からないのですか？スキップスキップの1つの方法
from scrapy import Spider
from scrapy.loader import ItemLoader
from linkedin.items import LinkedinItem
import glob, os
class ProfilesSpider(Spider):
name = 'profiles'
allowed_domains = ["file://127.0.0.1"]
start_urls = ["file://127.0.0.1/path/to/file/text.txt"]
def parse_nextfile(self,response):
#retrieve local files directory
request(url, callback = self.parse)
def parse(self, response):
#scraping the page_source file
リクエストで指定する必要があります要求を解析するために、別の方法が必要な場合は、' parse'はscrapy要求のデフォルトのコールバックがあり、 'parse_nextfile'を呼び出させたい場合は、' callback = self.parse_nextfile'を指定しなければなりません。 – bluesummers
ありがとう@bluesummers、それは完璧に動作します。 – dlfjj
私は答えとして記入して投票してください。 – bluesummers