Hadoop MapReduceベースのWeb Javaクローラ

Question

MapReduceアーキテクチャを使用してHadoopフレームワークに基づくJavaクローラを実装し、HBaseにコンテンツを挿入したいと考えています。 私はこの2つのチュートリアルを結合しよう：

Basic web crawler example

MapReduce tutorial

しかし、私は概念を理解することはできません。ページからリンクを抽出するロジックを置く場所はどこですか？マッパーの入力データ型は何ですか？ ありがとうございます

Answer 1

ちょうどApache Nutchを使用してください - それはHadoopに基づいており、必要以上のものがあります。