oozieでsparkジョブを実行できません

Question

CDH 5.7クラスタにoozieを設定しようとしています。私はclouderaのドキュメントの手順に従って、すべてをインストールして構成しました。最後にoozie-examples.tar.gzを抽出し、hdfsにputしていくつかの例を実行しようとしました。 MRの例では、細かい動作しますが、スパーク1は、次のエラーで失敗します。

Resource hdfs://cluster/user/hdfs/.sparkStaging/application_1462195303197_0009/oozie-examples.jar changed on src filesystem (expected 1462196523983, was 1462196524951

は私が例を実行するために使用するコマンドがあった。job.propertiesの

oozie job -config /usr/share/doc/oozie/examples/apps/spark/job.properties -run 

内容：

nameNode=hdfs://cluster:8020 
jobTracker=aleo-master-0:8021 
master=yarn-cluster 
queueName=default 
examplesRoot=examples 
oozie.use.system.libpath=true 
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/spark 

そしてworkflow.xml：

<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkFileCopy'> 
<start to='spark-node' /> 

<action name='spark-node'> 
    <spark xmlns="uri:oozie:spark-action:0.1"> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <prepare> 
      <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark"/> 
     </prepare> 
     <master>${master}</master> 
     <name>Spark-FileCopy</name> 
     <class>org.apache.oozie.example.SparkFileCopy</class> 
     <jar>${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/oozie-examples.jar</jar> 
     <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/input-data/text/data.txt</arg> 
     <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark</arg> 
    </spark> 
    <ok to="end" /> 
    <error to="fail" /> 
</action> 

<kill name="fail"> 
    <message>Workflow failed, error 
     message[${wf:errorMessage(wf:lastErrorNode())}] 
    </message> 
</kill> 
<end name='end' /> 

バージョン情報：

1. スパーク1.6.0
2. Oozie 4.1.0-cdh5.7.0

は、誰もが前に、この問題を見ていますか？私は自分のワークフロー定義でSparkPiを実行しようとしましたが、結果は同じでした。

ありがとうございました！

Answer 1

スパークのステージングパスをクリーンアップしようとしましたか？ Sparkは、指定されたjarの一時コピーをステージングするhdfsパスにコピーしています。そこには、同じ名前の2つの異なるjarファイルを区別できない場合があります。