ベストWebクローラ - コンテンツ抽出のために必要

Question

eBayのような特定のWebサイトのコンテンツを取得するための構造化されたWebクローラソリューション？

Answer 1

30桁は、ウェブサイトの特定のセクションから非常に特定のデータを引き出すために優れたWeb Extractorを持っています。それはオープンソースではありませんが、あなたのサイズと用途によって異なるモデルがあります。

Answer 2

HtmlUnitは非常に良好です。それはJavascriptをかなりうまくサポートします。