Oozie-Sparkアクションで複数のジャーを追加

Question

私はHDP2.6を使用しています。インストールされている場所oozie 4.2。およびSpark2。

私はこのサイトでHortonworksのガイドを追跡した後：012で、Spark2のためのlibsを追加するためのhttps://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_spark-component-guide/content/ch_oozie-spark-action.html。 Oozieのバージョン。

私はこのアドオンを使用してジョブをサブミットした後：

oozie.action.sharelib.for.spark=spark2 

私は取得していますエラーはこれです：

2017-07-19 12:36:53,271 WARN SparkActionExecutor:523 - SERVER[] USER[admin] GROUP[-] TOKEN[] APP[Workflow2] JOB[0000012-170717153234639-oozie-oozi-W] ACTION[0000012-170717153234639-oozie-oozi-W@spark_1] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Attempt to add (hdfs://:8020/user/oozie/share/lib/lib_20170613110051/oozie/aws-java-sdk-core-1.10.6.jar) multiple times to the distributed cache. 
    2017-07-19 12:36:53,275 WARN SparkActionExecutor:523 - SERVER[] USER[admin] GROUP[-] TOKEN[] APP[Workflow2] JOB[0000012-170717153234639-oozie-oozi-W] ACTION[0000012-170717153234639-oozie-oozi-W@spark_1] Launcher exception: Attempt to add (hdfs://:8020/user/oozie/share/lib/lib_20170613110051/oozie/aws-java-sdk-core-1.10.6.jar) multiple times to the distributed cache. 
    java.lang.IllegalArgumentException: Attempt to add (hdfs://:8020/user/oozie/share/lib/lib_20170613110051/oozie/aws-java-sdk-core-1.10.6.jar) multiple times to the distributed cache. 
     at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$13$$anonfun$apply$8.apply(Client.scala:629) 
     at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$13$$anonfun$apply$8.apply(Client.scala:620) 
     at scala.collection.mutable.ArraySeq.foreach(ArraySeq.scala:74) 
     at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$13.apply(Client.scala:620) 
     at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$13.apply(Client.scala:619) 
     at scala.collection.immutable.List.foreach(List.scala:381) 
     at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:619) 
     at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:892) 
     at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:171) 
     at org.apache.spark.deploy.yarn.Client.run(Client.scala:1228) 
     at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1287) 
     at org.apache.spark.deploy.yarn.Client.main(Client.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:497) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:745) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
     at org.apache.oozie.action.hadoop.SparkMain.runSpark(SparkMain.java:311) 
     at org.apache.oozie.action.hadoop.SparkMain.run(SparkMain.java:232) 
     at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:58) 
     at org.apache.oozie.action.hadoop.SparkMain.main(SparkMain.java:62) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:497) 
     at org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:239) 
     at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54) 
     at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453) 
     at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343) 
     at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:170) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at javax.security.auth.Subject.doAs(Subject.java:422) 
     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1866) 
     at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:164) 

私は新しいSpark2がスパーク2.1で動作しないことを読みましたsee here

AmbariとHDP2.6を使用していることに注意してください。ここでは、AmbariとHDP2.6を使用しています。私はこれにどのように対処できますか？

Answer 1

oozieディレクトリとspark2ディレクトリの内容をOozie sharelibにチェックする必要があります。両方に入っている瓶がある場合は、それらを1か所から取り出して、もう一度お試しください。また、oozie admin sharelub updateコマンドを実行して更新してください。

希望すると、これが役立ちます。