scrapy_splashパッケージを使用してフォーム投稿後にリダイレクトする方法は？

Question

私はPython、Scrapy、Splash、およびscrapy_splashパッケージを使用してWebサイトをスクラップしています。

私はscrapy_splashのSplashRequestオブジェクトを使用してログインできます。 ログインすると、ポータルページにアクセスできるCookieが作成されます。この時点ですべての作品。

ポータルページには、いくつかのボタンをラップするフォーム要素があります。クリックすると、アクションURLが更新され、フォーム提出がトリガーされます。フォームの提出により、302リダイレクトが発生します。

私はSplashRequestで同じアプローチを試みましたが、リダイレクトで返されるSSOクエリパラメータを取得できません。私は成功せずにヘッダのLocationパラメータを読み込もうとしました。

また、SplashRequestオブジェクトと組み合わせてluaスクリプトを使用しようとしましたが、まだリダイレクトLocationオブジェクトにアクセスできません。

ご指摘いただければ幸いです。

上記のテクニックは多数の他のスクリプトで使用されていますが、私はこの特定のユースケースに新しい技術を追加することを躊躇していますが、他のソリューション（セレン）もあります。

# Lua script to capture cookies and SSO query parameter from 302 Redirect 
lua_script = """ 
    function main(splash) 
     if splash.args.cookies then 
      splash:init_cookies(splash.args.cookies) 
     end 
     assert(splash:go{ 
      splash.args.url, 
      headers=splash.args.headers, 
      http_method=splash.args.http_method, 
      body=splash.args.body, 
      formdata=splash.args.formdata 
     }) 
     assert(splash:wait(0)) 

     local entries = splash:history() 
     local last_response = entries[#entries].response 

     return { 
      url = splash:url(), 
      headers = last_response.headers, 
      http_status = last_response.status, 
      cookies = splash:get_cookies(), 
      html = splash:html(), 
     } 
    end 
    """ 

def parse(self, response): 
    yield SplashRequest(
    url='https://members.example.com/login', 
    callback=self.portal_page, 
    method='POST', 
    endpoint='execute', 
    args={ 
     'wait': 0.5, 
     'lua_source': self.lua_script, 
     'formdata': { 
      'username': self.login, 
      'password': self.password 
     }, 
    } 
) 

def portal_page(self, response): 
    yield SplashRequest(
    url='https://data.example.com/portal' 
    callback=self.data_download, 
    args={ 
     'wait': 0.5, 
     'lua_source': self.lua_script, 
     'formdata': {} 
    }, 
) 

def data_download(self, response): 
    print(response.body.decode('utf8') 

Answer 1

上記の質問を実際の例で更新しました。

私はいくつか変更しましたが、私が抱えていた問題はsplash:init_cookies(splash.args.cookies)の参照を紛失していました。

また、SplashFormRequestからSplashRequestに変換し、splash:goブロックをリファクタリングし、特定の形式への参照を削除しました。

@MikhailKorobovもう一度おねがいします。