Nutchのクロールファイルシステムの作成方法は？

Question

HTTPに基づいていない

、

http://localhost:81よう

というように、

ず、直接ローカルファイルシステム上の特定のディレクトリをクロール、

が出てどのような方法はありますか？

Answer 1

nutchにはイントラネットクロールがあります。あなたはNutchのウィキからhere

Answer 2

を詳細に読むことができます：

Iインデックス私のローカルファイルシステムはどうすればよいですか？

http://wiki.apache.org/nutch/FAQ#head-c721b23b43b15885f5ea7d8da62c1c40a37878e6

1）クロール-urlfilter.txtファイル許可するように変更を必要とします。http以下のいない間のURL：ものを、それ以外の場合のいずれかではなく、インデックスのもの、またはその上にあなたのディスクをオフにジャンプしますされますウェブサイト。この行を変更し ：

-^(file|ftp|mailto|https): 

    to this: 

    -^(http|ftp|mailto|https): 

2）クロール-urlfilter.txtは、いくつかのURLを拒絶するように下部のルールを有することができます。それは、このフラグメントを持っている場合、それはおそらく大丈夫だ：

# accept anything else +.* 

3）私は、次を含めるように私のnutch.xmlを変更：

<Parameter override="false" name="plugin.includes" value="protocol-file|protocol-http|urlfilter-regex|parse-(msword|pdf|text|html|js)|index-(basic|anchor)|query-(basic|site|url)|response-(json|xml)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)"/>