JavaでWebクローラーを作成する方法

Question

Javaプログラミングで効果的なWebクローラーを作成する方法は？ 重複するURLを排除する必要があります。&は、Webトラフィックを削減する必要があります。誰かがjavaでWebクローラを構築するためのソースコードやチュートリアルを持っているなら、plsに教えてください。 ここで使用するパラメータは何ですか？

Answer 1

List of open source web crawlers
オープンソースのJavaクローラーとクローラーは、他のいくつかの言語で見つけることができます。