Apache Nutch Web CrawlingのシードURL

Question

Apache Nutchは、WebクローリングのシードURLとしてhttp://rdf.dmoz.org/rdf/content.rdf.u8.gzを推奨しています。しかし、彼らはウェブサイトを閉鎖している。 Webクローリング用の代替シードURLはありますか？

Answer 1

http://commoncrawl.orgをご覧ください。私は彼らが本当に包括的なデータセットを提供していると思います。