再帰Webダウンロード以下のリンクは、DOMの基準に従って

Question

MSDN is a huge hierarchical doc site.

は、より正確には、コンテンツを階層的に組織化が、URLはありませんされています。 URLスペースはフラットなので、すべてが同じディレクトリにあるように見えます。 （実際には、ディレクトリが存在しない可能性がありますが、他のデータベースからものが出てきていると思いますが、ここでは関係ありません）

MSDNの一部をダウンロードする場合は、NMake manual指定されたディレクトリの下のすべてを再帰的にダウンロードすることはできません。それはMSDNのすべてになるからです。あなたのハードドライブと帯域幅には多すぎます。

しかし、あなたはその後、CSS class属性toc_childrenとtoc_siblingsではなくtoc_parentのものと同様に、文書の特定のナビゲーションセクションに含まれているだけで、これらのリンクをたどると、ダウンロードするにはDOM（HTML）を見て、スクリプトを書くことができます。

何が必要だろうが、あなたが言うことができますいくつかのダウンローダのようになります。

$webclient->add_links($xpath_expression); # or 
$webclient->add_links($css_selector); 

Perlの、LWPとXMLを使用して、一緒に何かを考え出すにはあまりにも難しいことではありません::のlibxml（HTMLパーサ）しかし、おそらくあなたはそれを再現する必要はないので、あなたはそれを行うことを可能にするツールを知っているかもしれません。

Perlである必要はありません。他の言語でも問題ありません。このジョブに必要な柔軟性を備えた既製のプログラムもあります。

Answer 1

WWW::Mechanizeからfind_link関数（および兄弟）を確認してください。任意の基準を使用して、 "id"および "class"属性を含むリンクを見つけることができます。

Answer 2

これは、あなたが正しい方向に向かっているか、迷っている可能性があります。最初にページをローカルファイルに保存して、作業中は常にダウンロードしないようにしました。

#!/usr/bin/env perl 

use strict; 
use warnings; 

use HTML::TreeBuilder::XPath; 

my $tree = HTML::TreeBuilder::XPath->new; 

$tree->parse_file('nmake-ref.html'); 

my @links = map { { $_->as_text => $_->attr('href') } } 
      $tree->findnodes(q{//div[@class='sectionblock']/*/a}); 

for my $link (@links) { 
    my ($entry, $url) = %{ $link }; 
    ($link->{ file } = "$entry.html") =~ s/[^A-Za-z_0-9.]+/_/g; 
    system wget => qq{'$url'}, '-O', $link->{ file }; 
} 

Answer 3

Mojo::UserAgentは、CSS3セレクタまたはXPathを理解するものを返します。たとえば、Painless RSS processing with Mojoに例を示しただけです。私は本当にこの新しい（ish）Webクライアントのものを楽しんでいます。私が望むほとんどのものはすでにそこにあります（追加のモジュールはありません）。