Webクローラーの機能

Question

Webクローラーは抽出されたテキストをWebページからのみ戻しますか？ Webサーバーにもいくつかのpdf/docファイルが格納されているとします。 Webクローラーがそれらをクロールしてコンテンツを返すことはできますか？とにかく、良いオープンソースのJava Webクローラーのための提案は何ですか？

ありがとうございました！

Answer 1

Webクローラはテキストを抽出しません。いくつかの変換（例：UTF-8変換）を適用したhtmlを返します。

クローラのように考えると、最初のホップでは問題になりません。もちろん、複数のホップでは、これらのドキュメントを調べる必要があり、一般的なクローラはpdf/docsなどで複数のホップを提供しません。

Answer 2

Try https://stackoverflow.com/questions/2495289/what-is-a-good-java-web-crawler-library; それぞれには独自の機能があります。いくつかはpdfsとdocsをサポートしているかもしれませんが、そうでないものもあります。