PerlとLWPでPDFをダウンロードできません

Question

私は、国連のWebサイト（セキュリティ評議会の決議など）から多数のPDF文書をダウンロードするために、LWP :: SimpleをPerlで使用しようとしています。 PDFを返すのではなく、HTMLエラーページを受け取っています。この非常に簡単な例を考えてみましょう：私はその後、「test.pdfという」の内容を見れば

use LWP::Simple; 
use strict; 

my $url = 'https://documents-dds-ny.un.org/doc/UNDOC/GEN/N16/100/02/PDF/N1610002.pdf'; 
my $file = 'test.pdf'; 
getstore($url, $file); 

、私は彼らがHTMLページであることを見つけます。

私はLWP :: UserAgentで数多くのトリックを試していますが、cURLでも成功していません。何か案は？

Answer 1

@SteffenUllrichと@ ikegamiのおかげで、私は正しい軌道に乗ることができました！

これは確かにクッキーの問題です。修正？クッキージャーを開き、サイトのホームページにアクセスしてから、クッキーがジャーに保管されたらPDFにアクセスしてください。

これはHTTP :: Cookiesを使用せずに行うことができます。しかし、LWP :: Simpleの代わりにLWP :: UserAgentを使う必要があります。

以下の最小作業例：

use strict; 
use warnings 'all'; 

use LWP::UserAgent; 

my $homeUrl  = "https://documents.un.org/prod/ods.nsf/home.xsp"; 
my $pdfUrl  = "https://documents-dds-ny.un.org/doc/UNDOC/GEN/N16/100/02/PDF/N1610002.pdf"; 
my $pdfOutputName = "test.pdf"; 

my $browser = LWP::UserAgent->new(cookie_jar => { }); 

my $resp; 

$resp = $browser->get($homeUrl); 
die $resp->status_line unless $resp->is_success; 

$resp = $browser->get($pdfUrl, ':content_file' => $pdfOutputName); 
die $resp->status_line unless $resp->is_success; 

これは完全なPDFファイルを生成します。