2016-12-16 6 views
0

oozieワークフローのスパークジョブをトリガしている間に、私は例外以下になりました。何が問題なのでしょうか?oozieからスパークジョブを送信できません

org.apache.spark.SparkException:org.apache.sparkで :org.apache.spark.deploy.yarn.Client.run(940 Client.scala)で失敗ステータス で完成したアプリケーション application_1480735305639_6874 .deploy.yarn.Client $ .main(Client.scala:986) 、org.apache.spark.deploy.yarn.Client.main(Client.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブメソッド) sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Meth od.invoke(Method.java:606) at org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain(SparkSubmit.scala:672) at org.apache.spark。 org.apache.spark.deploy.SparkSubmit $ .submit(SparkSubmit.scala:205) (org.apache.spark.deploy.SparkSubmit $ .main())で を展開します。 SparkSubmit.scala:120) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) at org.apache.oozie.action.hadoop.SparkMain.runSpark(SparkMain.java:185) at org。 (org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:49) at org.apache.oozie.action)。 hadoop.SparkMain.main(SparkMain.j AVA:46) sun.reflect.NativeMethodAccessorImpl.invokeでsun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブメソッド) sun.reflect.DelegatingMethodAccessorImpl.invokeで(NativeMethodAccessorImpl.java:57) (DelegatingMethodAccessorImpl.java:43)で (org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:236) at org.apache.hadoop.mapred.MapRunner (MapTask.java:343) org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.runSubtask(LocalContainerLauncher.java:378) at org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.runTask(LocalContainerLauncher.java:296) at org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.access $ 200(LocalContainerLauncher.java:181) at org.apache .hadoop.mapred.LocalContainerLauncher $ EventHandler $ 1.run(LocalContainerLauncher.java:224) のjava.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:471) のjava.util.concurrent.FutureTask.run( (ThreadPoolExecutor.java:615) のjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) のjava.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:615) at java.lang。 Thread.run(Thread.java:745)

+0

実行しようとしていることについてさらに情報を提供できますか?それとも、これはあなたの特定の仕事よりもより一般的な問題だと思いますか? – LordWilmore

+0

スパークは単に「YARN job failed」と言う=>実際のエラーメッセージを得るためにYARNログをチェックしましたか?例えば。コマンドライン 'yarn application -status application_1480735305639_6874'で' yarn logs -applicationId application_1480735305639_6874'またはYARNウェブコンソールを使用して... –

答えて

0

なぜそれが失敗したのかという問題がありました。私はぞっとした。基本的に、oozieには独自のmapreduceラッパープロセスがあります。したがって、あなたの行動が失敗した場合、それは怠惰なラッパーまで移動します。私のアクション・ジョブが失敗したため、この例外が発生しました。マップ・ラッパーでこの例外が発生しました。ありがとう

関連する問題