2
私はウェブページをスクラップするためにmechanizeを使用しようとしていますが、いくつかのページにURLでアクセスできないことがわかりましたが、セッション変数を特定の値に変更することによって、セッション状態を保つ?セッション変数を設定する
私はウェブページをスクラップするためにmechanizeを使用しようとしていますが、いくつかのページにURLでアクセスできないことがわかりましたが、セッション変数を特定の値に変更することによって、セッション状態を保つ?セッション変数を設定する
少なくとも、これらのURLではリクエストにセッションCookieを送信する必要があると言います。サーバーは最初にサイトにアクセスしたときにレスポンスで送信します(クライアント/ブラウザのインスタンスなどで)
さらに、これらのURLにはログインする必要がありますので、必ずシミュレートする必要がありますこれらのログイン手順が最初に行われ、その後、一度認証されると、セッションCookieが送信されます。
Mechanizeには、セッションCookieを読み込み、その後のURL要求でサーバーに送信するオプションが必要です。