Nutch 1.10 - 同じTLDで100を超えるサブドメインをクロールしません

Question

Nutch 1.10; 1つのTLD上でクロールされるサブドメインの数を100に制限するデフォルト設定があります。誰かがこのデフォルトを上書きする方法を教えてもらえますか？

私は成功せず、Nutchの-site.xmlの中で次のことを試してくださいました：

<property> 
    <name>generate.max.per.host</name> 
    <value>300</value> 
</property>enter code here 

Answer 1

Nutchの中のサブドメインの数に制限はありません。どう思う？あなたはどのようにサブドメインを発見しましたか？

1つのページからのリンクの場合、「db.max.outlinks.per.page」（デフォルトは100）が制限されます。これはサブドメインにかかわらずアウトリンクを制限します