Nutchクロールエラー - 入力パスが存在しません

Question

2つのデータノードサーバーを持つnutch/hadoopがあります。私はいくつかのURLをクロールしようとしますが、このエラーでナッチは失敗します：

Fetcher: segment: crawl/segments 
Fetcher: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://devcluster01:9000/user/nutch/crawl/segments/crawl_generate 
    at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:190) 
    at org.apache.hadoop.mapred.SequenceFileInputFormat.listStatus(SequenceFileInputFormat.java:44) 
    at org.apache.nutch.fetcher.Fetcher$InputFormat.getSplits(Fetcher.java:105) 
    at org.apache.hadoop.mapred.JobClient.writeOldSplits(JobClient.java:810) 
    at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:781) 
    at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:730) 
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1249) 
    at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1107) 
    at org.apache.nutch.fetcher.Fetcher.run(Fetcher.java:1145) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
    at org.apache.nutch.fetcher.Fetcher.main(Fetcher.java:1116) 

私を助けることができる人はいますか？私はこれを解決する方法を知らない！ 多くのThx！

Answer 1

nutch/crawl/segments/crawl_generateパスが正しいかどうかを確認します。

いずれかのパスが間違っているか、解析フェーズが完了していません。

Answer 2

nutchの生成フェーズは、セグメントディレクトリ内に "crawl_generate"を作成します。これには、フェッチフェーズで使用されるフェッチリストが含まれます。取得したエラーは、フェッチフェーズでフェッチリストを取得できないためです。フェッチが見つけようとしている場所にgenerateの出力が設定されていることを確認します。