1つのWebページで今後のリクエストに従う方法はありますか？

Question

集中的なajaxでWebページをダウンロードする必要があります。現在、私はAjaxenabledでScrapyを使用しています。このレスポンスを書き出してブラウザで開きます。まだいくつかの要求が開始されています。レンダリングされたレスポンスには最初のレベルのリクエストしか含まれていないと私は正しいかどうかはわかりません。それで、どのようにして治療にすべてのサブリクエストを1つのレスポンスに含めることができますか？

この場合、オフラインで開くとして23件のリクエストがオンラインでオープンされ、72件のリクエストがオンラインで送信されます。

本当にありがとうございます。次のように

class SeedinvestSpider(CrawlSpider): 
    name = "seedinvest" 
    allowed_domains = ["seedinvest.com"] 
    start_urls = (
     'https://www.seedinvest.com/caplinked/bridge', 
    ) 

    def parse_start_url(self, response): 
     item = SeedinvestDownloadItem() 
     item['url'] = response.url 
     item['html'] = response.body 
     yield item 

Answer 1

コードです：

ここ

は

requests sent before download

requests sent after download

ダウンロードの前と後に送信されたリクエストのためのスクリーンショットは、ここでコードがされています

class SeedinvestSpider(CrawlSpider): 
    name = "seedinvest" 
    allowed_domains = ["seedinvest.com"] 
    start_urls = (
     'https://www.seedinvest.com/startmart/pre.seed', 
    ) 

    def parse_start_url(self, response): 
     item = SeedinvestDownloadItem() 
     item['url'] = response.url 
     item['html'] = response.body 
     yield item