私はoozieとpigスクリプトでスケジュールされたhadoopジョブを持っていますが、問題はジョブが常に保留状態にあり、jobtracker/tasktrackerログに明白なエラー/例外が表示されません。hadoopジョブが保留中の理由を特定するにはどうすればよいですか?
根本的な原因を特定する方法に似た経験を持つ人はいますか?ありがとう。
下記のスクリーンショットを参照してください。問題はmap/reduceタスクが21時間を超えて保留状態にあることです。ここ
ジョブトラッカーからのログであり、この仕事については何もタスクトラッカーログには見られなかった。
2012-05-09 14:57:19552 INFOのorg.apache.hadoop。 mapred.JobQueuesManager:ジョブjob_201205091453_0007が毎日キューに登録 2012-05-09 14:57:19,552情報org.apache.hadoop.mapred.JobTracker:ジョブjob_201205091453_0007が 'daily'のキューにユーザー 'mapred'のために正常に追加されました 2012-05 -09 14:57:19,552情報org.apache.hadoop.mapred.AuditLogger:USER =マップされたIP = 10.40.31.234操作= SUBMIT_JOB TARGET = job_201205091453_0007結果=成功 2012-05-09 14:57:22,966 INFO org.apache.hadoop.mapred.JobInitializationPoller:初期化子に渡すジョブID:job_201205091453_0007ユーザー:mapredキュー:毎日 2012-05-09 14:57:24,086 INFO org.apache .hadoop.mapred.JobInitializationPoller:ジョブを初期化中:job_201205091453_0007(待ち行列内)ユーザ用:mapred 2012-05-09 14:57:24,086 INFO org.apache.hadoop.mapred.JobTracker:初期化中job_201205091453_0007 2012-05-09 14: 57:24,086 INFO org.apache.hadoop.mapred.JobInProgress:初期化中job_201205091453_0007 2012-05-09 14:57:24,239 INFO org.apache.hadoop.mapred.JobInProgress:jobTokenが生成され、/ var/libジョブの入力サイズjob_201205091453_0007 = 48.分割数= 1 2012-05-09 14:57:24,243情報org.apache.hadoop.mapred.JobInProgress:tip:task_201205091453_0007_m_000000がノードで分割されています:/ default-rack/hzs-ubt-elou 2012-05-09 14:57: 24,243 INFO org.apache.hadoop.mapred.JobInProgress:job_201205091453_0007 LOCALITY_WAIT_FACTOR = 1.0 2012-05-09 14:57:24,243情報org.apache.hadoop.mapred.JobInProgress:ジョブjob_201205091453_0007は、1つのマップタスクと1つのタスクを減らして正常に初期化されました。 。
利用できる地図スロットはありますか? (ジョブトラッカーのフロントページのスクリーンショットを投稿してください) –
@ChrisWhite、私は同じ質問に遭遇しました。私は無料のマップスロットを持っていますが、いくつかのジョブはかなり長い時間、例えば数時間も待っています。 – scarcer
オンラインタスクトラッカーのジョブトラッカーUIはどのように表示されますか?あなたのシステムで特定のスケジューラーを使用していますか、いくつかのスロットは別のキュー用に予約されていますか? –