スクラップ+スプラッシュ：フルページのJavaScriptデータをレンダリングしない

Question

私はスプラッシュを使用したスクリーニングを検討していますが、電子商取引サイトgapのいずれかのproductid、名前、価格のすべての製品（パンツ）私はスプラッシュウェブUI splash web UIから見たとき、私は（唯一の16項目は、リクエストごとにかかわらず、ロードされている - 見当もつかない理由）すべての動的製品データがロードされて表示されませんでした 私は、次のオプションを試してみましたが、運

• 待ち時間を20秒まで増やす
• ドッカーを「--disable-pr」で開始するとivateモード「
• ビューレポートフルオプションで
• スプラッシュスクロールページのlua_scriptを使用することにより：誰でもいくつかの光を当てるてくださいすることができ

lua_script2 = """ function main(splash) 
 
    local num_scrolls = 10 
 
    local scroll_delay = 2.0 
 

 
    local scroll_to = splash:jsfunc("window.scrollTo") 
 
    local get_body_height = splash:jsfunc(
 
     "function() {return document.body.scrollHeight;}" 
 
    ) 
 
    assert(splash:go(splash.args.url)) 
 
    splash:wait(splash.args.wait) 
 

 
    for _ = 1, num_scrolls do 
 
     scroll_to(0, get_body_height()) 
 
     splash:wait(scroll_delay) 
 
    end   
 
    return splash:html() 
 
end"""     
 
           
 
      yield SplashRequest(
 
       url, 
 
       self.parse_product_contents, 
 
       endpoint='execute', 
 
       args={ 
 
         'lua_source': lua_script2, 
 
         'wait': 5, 
 
        } 
 
       ) 
 

set_viewport_fullを（）この行動について？ ps：私はscrapyフレームワークを使用しており、render.htmlから商品情報（itemid、name、price）を解析することができます（ただし、render.htmlには16個の情報しかありません）

Answer 1

スクリプトを下記

function main(splash) 
    local num_scrolls = 10 
    local scroll_delay = 2.0 
    splash:set_viewport_size(1980, 8020) 
    local scroll_to = splash:jsfunc("window.scrollTo") 
    local get_body_height = splash:jsfunc(
     "function() {return document.body.scrollHeight;}" 
    ) 
    assert(splash:go(splash.args.url)) 
-- splash:set_viewport_full() 
    splash:wait(10) 
    splash:runjs("jQuery('span.icon-x').click();") 
    splash:wait(1) 
    for _ = 1, num_scrolls do 
     scroll_to(0, get_body_height()) 
     splash:wait(scroll_delay) 
    end  

     splash:wait(30) 

    return { 
     png = splash:png(), 
     html = splash:html(), 
     har = splash:har() 
     } 
end 

そして、私の地元のスプラッシュでそれを実行した、PNGは正常に動作しませんが、HTMLは、最後の製品

01を持っています

電子メールは、ポップアップはそれがスクロールしないであろうがあり、私はデータを取得するためのAPIを使用して、直接の代わりに、そんなに努力についてどう