2011-12-16 5 views
0

ログを取得して入力TraceBuilderを与えた単一のノードクラスタがあり、動作します。 デフォルトのラックの下に5つのノードクラスタをグループ化し、ログを取得しました。ここでは、ジョブとトポロジのトレースが適切に生成されます。ルーメンを使用したマルチノードクラスタの履歴フォルダからのジョブとトポロジトレースの生成

5つのノードクラスタをそれぞれ別のラックにマップして設定しました。

Eclipse Heliosでhadoop-0.20.2を設定しました。だから、私は

メインクラス

を使用してTracebuilderを実行しました:org.apache.hadoop.tools.rumen.TraceBuilder 私は、クラスタ上の一部のジョブを実行し、マスターノードのは/ usr/local/Hadoopの/ログ/履歴フォルダなどのコピーを使用しますTraceBuilderに入力します。 引数:/home/arun/job.jsonの/home/arun/topology.json /ホーム/ Ubuntuの/ドキュメント/ testlog

が、私はそれが仕事のトレースJSONファイルが、フィールドを生成

11/12/16 12:02:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
11/12/16 12:02:38 WARN rumen.TraceBuilder: TraceBuilder got an error while processing the [possibly virtual] file master_1324011575958_job_201112161029_0001_hduser_word+count within Path file:/home/ubuntu/Documents/testlog/master_1324011575958_job_201112161029_0001_hduser_word+count 
     java.lang.NullPointerException 
       at org.apache.hadoop.tools.rumen.JobBuilder.processTaskAttemptFinishedEvent(JobBuilder.java:492) 
       at org.apache.hadoop.tools.rumen.JobBuilder.process(JobBuilder.java:149) 
       at org.apache.hadoop.tools.rumen.TraceBuilder.processJobHistory(TraceBuilder.java:310) 
       at org.apache.hadoop.tools.rumen.TraceBuilder.run(TraceBuilder.java:264) 
       at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:69) 
       at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:83) 
       at org.apache.hadoop.tools.rumen.TraceBuilder.main(TraceBuilder.java:142) 
       ..................... 

を取得ホスト名と場所のようにそれに「ヌル」であり、トポロジトレースJSONファイルには、5ノードの情報を持っており、このようなものですされていません。

{ 
     "name" : "<root>", 
     "children" : [ ] 
    }  

誰も私を助けることはできますか?

おかげで、 アルン

答えて

0

なし期待される入力ファイルが入力ディレクトリに見つかったため、このエラーが発生しました。 入力ディレクトリにジョブファイルが含まれている必要があります(job_201205192032_0006_conf.xmlなど)。これらのファイルはlogs/historyフォルダ内に保存されますが、ジョブの実行と実行日に合わせて生成されたいくつかのディレクトリの下にあります

関連する問題