perlを使ってhttpsサイトにログイン

Question

私はパスワードで保護されたサイトにログインするためのperlスクリプトを書こうとしています。私はWWW :: Mechanizeモジュールを使っていますが、このサイトはいくつかの点で異なります。

-機械化されていないページでJavaScriptを使用しているため、機械化できません。私はスクリプトが私の作業機械で毎時実行されるので、ヘッドレスブラウザで何かを実装することを好むでしょう。

- ログインフォームはありません。ブラウザにはログインするためのポップアップボックスが表示されています。私の人生にとっては、その対処方法を理解できません。

URL：https://fwxwww2.hpr.for.gov.bc.ca/Scripts/Public/Common/Report.asp?Report=Hourly

私は、ログイン後のjavascriptの進め方には十分なリソースを見つけたので、それはそれを認証するためにどれだけ本当にだが、私は困惑持っています。これにどのようにアプローチするかについてのご意見をお寄せいただきありがとうございます。私はperlを伴わないソリューションにはオープンしていますが、cygwinを実行していますのでオプションはいくぶん限定されています。

#!/usr/bin/perl 
use strict; 
use warnings; 
use WWW::Mechanize; 
use Data::Dumper; 

my $url= 'https://fwxwww2.hpr.for.gov.bc.ca/Scripts/Public/Common/Report.asp?Report=Hourly'; 
my $mech = WWW::Mechanize->new(autocheck => 1); 
$mech->credentials(
    'myusername', 
    'mypassword' 
); 
$mech->get($url); 
print $mech->content(); 

Answer 1

ブラウザこれはRFC 2617に記載の方法WWW::MechanizeでcredentialsとLWP::UserAgentに記載、HTTP認証されるポップアップボックス

を表示します。

JavaScriptは表示されません。たぶん、認証後の文書でのみです。私のdocumentation improvement for JS-enabled Mech-workalikesを参照してください。

---

編集：

Antonio Dolcetta's answerは、NTLM認証方式が使用されていることをヒントを与えます。 Authen::NTLMのバージョンをアップグレードしてください。 LWP::Authen::Ntlmのマニュアルに従って、キープアライブを有効にし、netloc（ポート番号を含む）とユーザー名（NTドメイン名を含む）に正しい表記法を使用してください。

Answer 2

有効なhttpヘッダープラグインを有効にしてfirefoxを使用します。

このようにして、どのような情報が出入りしているのかを知ることができ、それを複製することができます。

このページでは、ブラウザのバージョン検出、JavaScriptの検出などのように、他のものをチェックしてボットを許可しない可能性があります。

また、$ urlには\ t文字が含まれています。

Answer 3

NTLMを使用して認証されているようです。 LWP :: Authen :: Ntlmがインストールされていることを確認してください。

は、も参照してください（この例では、WWW :: Mechanizeのの代わりにLWP :: UserAgentのを使用していますが、同じでなければなりません）このような何かを試してみてください：http://www.perlmonks.org/?node_id=642656

#!/usr/bin/perl 
use strict; 
use warnings; 
use LWP::UserAgent; 

my $url = 'https://fwxwww2.hpr.for.gov.bc.ca/Scripts/Public/Common/Report.asp?Report=Hourly'; 
# important to use keep_alive for NTLM 
my $ua = LWP::UserAgent->new(keep_alive=>1); 
$ua->credentials('fwxwww2.hpr.for.gov.bc.ca', '', 'username', 'password'); 

my $response = $ua->get($url); 
print $response->content();