IOExeption最後に、私は例外下記の悪い、悪いを持って... Nutchの（1.4）とクロール1日後Nutchの

Question

でクロール：

. 
. 
. 

-finishing thread FetcherThread, activeThreads=0 
-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0 
-activeThreads=0 
Fetcher: java.io.IOException: Job failed! 
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252) 
    at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1204) 
    at org.apache.nutch.fetcher.Fetcher.run(Fetcher.java:1240) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
    at org.apache.nutch.fetcher.Fetcher.main(Fetcher.java:1213) 
. 
. 

。

私はNutchのの20のニュースサイトや入力引数があります：深さ3とのtopN -1 私は私のLinuxのルートディレクトリにラム 4GBのどのように私はこの問題を解決することができますについての十分なスペースがありますか？ありがとう。

Answer 1

私はあなたがこの問題を持っているかもしれないと思う：

我々は状況に対処見つける答えはあなたがディスクスペースのうち、最も可能性が高いだということです/：http://wiki.apache.org/nutch/NutchGotchas

答えがそこに述べて提供しましたtmp。大規模な一時ファイルやHadoopクラスタを使用するために、別の場所、またはおそらくはhadoop.tmp.dir（nutch-site.xmlで設定可能）の別のパーティションを使用することを検討してください。