TEZ - DAGAppMaster - java.lang.IllegalArgumentExceptionが：無効なContainerIDの

Question

私はMapReduceのジョブを起動しようとしますが、シェルまたはハイブ内のジョブをexcutingながら、私はエラーを取得する：

ハイブ> SELECT COUNT（* ）従業員から; で決定削減タスクの1数のうち、クエリID = mapr_20171107135114_a574713d-7d69-45e1-aa73-d4de07a3059b総雇用= 1回の発射仕事を1時間をコンパイル：1（ バイト）減速機の平均負荷を変更するために、 ：set hive.exec.reducers.bytes.per.reducer = には、レデューサーの最大数を制限する： hive.exec.reducers.max = レデューサーの定数を設定するには：set mapreduce.jobの数：ステージ-1用.reduces =ジョブ開始= job_1510052734193_0005、トラッキングURL = http://hdpsrvpre2.intranet.darty.fr:8088/proxy/application_1510052734193_0005/ キルコマンド= /opt/mapr/hadoop/hadoop-2.7.0/bin/hadoop仕事-kill job_1510052734193_0005 Hadoopのジョブ情報マッパー：0; 0 2017-11-07 13：51：25,951ステージ1のマップ = 0％、reduce = 0％終了ジョブでjob = 1510052734193_0005エラーありジョブ中にエラーが発生し、デバッグ情報を取得中... ** FAILED：実行 エラー、org.apache.hadoop.hive.ql.exec.mr.MapRedTaskからの戻りコード2を返します。 MapReduceジョブの起動ステージステージ1：MAPRFS読み取り：0 MAPRFS書き込み：0 FAIL合計MapReduce CPU時間の消費： Ressourcemanager 0 MSE

私は何を見つけることを記録します：

>  2017-11-07 13:51:25,269 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: 
> appattempt_1510052734193_0005_000002 State change from LAUNCHED to 
> FINAL_SAVING 2017-11-07 13:51:25,269 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore: 
> Updating info for attempt: appattempt_1510052734193_0005_000002 at: 
> /var/mapr/cluster/yarn/rm/system/FSRMStateRoot/RMAppRoot/application_1510052734193_0005/appattempt_1510052734193_0005_000002 
> 2017-11-07 13:51:25,283 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.ApplicationMasterService: 
> Unregistering app attempt : appattempt_1510052734193_0005_000002 
> 2017-11-07 13:51:25,283 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.security.AMRMTokenSecretManager: 
> Application finished, removing password for 
> appattempt_1510052734193_0005_000002 2017-11-07 13:51:25,283 **INFO 
> org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: 
> appattempt_1510052734193_0005_000002 State change from FINAL_SAVING to 
> FAILED** 2017-11-07 13:51:25,284 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: The 
> number of failed attempts is 2. The max attempts is 2 2017-11-07 
> 13:51:25,284 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: 
> Updating application application_1510052734193_0005 with final state: 
> FAILED 2017-11-07 13:51:25,284 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: 
> application_1510052734193_0005 State change from ACCEPTED to 
> FINAL_SAVING 2017-11-07 13:51:25,284 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStore: 
> Updating info for app: application_1510052734193_0005 2017-11-07 
> 13:51:25,284 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler: 
> Application appattempt_1510052734193_0005_000002 is done. 
> finalState=FAILED 2017-11-07 13:51:25,284 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore: 
> Updating info for app: application_1510052734193_0005 at: 
> /var/mapr/cluster/yarn/rm/system/FSRMStateRoot/RMAppRoot/application_1510052734193_0005/application_1510052734193_0005 
> 2017-11-07 13:51:25,284 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.scheduler.AppSchedulingInfo: 
> Application application_1510052734193_0005 requests cleared 2017-11-07 
> 13:51:25,296 INFO 
> org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: 
> Application application_1510052734193_0005 failed 2 times due to AM 
> Container for appattempt_1510052734193_0005_000002 exited with 
> exitCode: 1 For more detailed output, check application tracking 
> page:http://hdpsrvpre2.intranet.darty.fr:8088/cluster/app/application_1510052734193_0005Then, 
> click on links to logs of each attempt. Diagnostics: Exception from 
> container-launch. Container id: 
> container_e10_1510052734193_0005_02_000001 Exit code: 1 Stack trace: 
> ExitCodeException exitCode=1: at 
> org.apache.hadoop.util.Shell.runCommand(Shell.java:545) at 
> org.apache.hadoop.util.Shell.run(Shell.java:456) at 
> org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722) 
> at 
> org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor.launchContainer(LinuxContainerExecutor.java:304) 
> at 
> org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:354) 
> at 
> org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:87) 
> at java.util.concurrent.FutureTask.run(FutureTask.java:262) at 
> java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1152) 
> at 
> java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:622) 
> at java.lang.Thread.run(Thread.java:748) Shell output: main : command 
> provided 1 main : user is mapr main : requested yarn user is mapr 
>  
>  Container exited with a non-zero exit code 1 Failing this attempt. Failing the application. 

はまた、ジョブのSYSログに私が見つける：

2017年11月7日12：09：46419 FATAL [メイン] app.DAGAppMaster： DAGAppMaster java.lang.IllegalArgumentExceptionがを起動エラー：無効なContainerIDの： Javaの： org.apache.hadoop.yarn.util.ConverterUtils.toContainerId（ConverterUtils.java:182）org.apache.tez.dag.app.DAGAppMaster.main（DAGAppMaster.java:1794） で でcontainer_e10_1510052734193_0001_01_000001によって引き起こされます.lang.NumberFormatException：入力文字列： "e10"
at java.lang.NumberFormatException.forInputString（NumberFormat Exception.java:65） at java.lang.Long.parseLong（Long.java:441）at java.lang.Long.parseLong（Long.java:483）at org.apache.hadoop.yarn.util。 ConverterUtils.toApplicationAttemptId（ConverterUtils.java:137） そのように思わ ... 1もっと

org.apache.hadoop.yarn.util.ConverterUtils.toContainerId（ConverterUtils.java:177） で問題を引き起こすTezは、それを解決する解決策はありますか？ ありがとうございました！

Answer 1

hadoopとそれぞれのjarファイルのの実行環境にはという異なるバージョンがあると思います。

環境を確認し、必要なバージョンのみを使用し、他のバージョンの参照を環境変数から削除してください。