Oozieエラー - mysqlからhdfsへのデータのインポート中

mysqlからsqoopまでhdfsにデータをインポートしようとしています。私はシェルを介してsqoopを実行することができ、うまく動作しています。しかし、私は怠惰を呼び出すとき。エラーが発生して失敗してしまいます。私は瓶も入れました。Oozieエラー - mysqlからhdfsへのデータのインポート中

は今、私は私の自宅でこれをしようとしています - CDH 5.3仮想ボックス内の1つのノードが、エラーはまだ同じ

である私は、これは先に議論されている知っているが、まだ何の助け..

メインエラーは次のとおりです。

ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

ジョブプロパティファイルには、以下のようにローカル環境に存在

です0

Workflow.xmlファイルIパス

以下の下にあるすべての必要なjarファイルが含まれている$ {名前ノード} /ユーザ/ハリー/

<workflow-app name="Trend_Analysi_Scoop_Script" xmlns="uri:oozie:workflow:0.4"> 
<start to="sqoop-c68d"/> 
<kill name="Kill"> 
    <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
</kill> 
<action name="sqoop-c68d"> 
    <sqoop xmlns="uri:oozie:sqoop-action:0.2"> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <arg>import</arg> 
     <arg> --connect</arg> 
     <arg>jdbc:mysql://localhost/oozie_training</arg> 
     <arg>--username</arg> 
     <arg>root</arg> 
     <arg>--password</arg> 
     <arg>cloudera</arg> 
     <arg>--table</arg> 
     <arg>user</arg> 
     <arg>--target-dir</arg> 
     <arg>/training/sqoop</arg> 
     <arg>-m</arg> 
     <arg>1</arg> 
    </sqoop> 
    <ok to="End"/> 
    <error to="Kill"/> 
</action> 
<end name="End"/>

下HDFSに存在する、以下の通りであります

[[email protected] ~]$ hadoop fs -ls /user/oozie/share/lib/lib_20141218070949/sqoop 
Found 75 items 
-rw-r--r-- 1 root oozie  960374 2016-05-26 22:00 /user/oozie/share/lib/lib_20141218070949/sqoop/mysql-connector-java-5.1.34-bin.jar 
-rw-r--r-- 1 oozie oozie  16924 2014-12-18 07:09 /user/oozie/share/lib/lib_20141218070949/sqoop/oozie-sharelib-sqoop-4.0.0-cdh5.3.0.jar 
-rw-r--r-- 1 oozie oozie 1010790 2014-12-18 07:09 /user/oozie/share/lib/lib_20141218070949/sqoop/sqoop-1.4.5-cdh5.3.0.jar

また、jarsの追加後にoozieサーバーを再起動しました。

エラーログは次のとおりです。

2016-05-24 10:37:17,994 INFO ActionStartXCommand:520 - SERVER[***]    USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]:start:] Start action [[email protected]:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 
2016-05-24 10:37:17,997 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]:start:] [***[email protected]:start:***]Action status=DONE 
2016-05-24 10:37:17,997 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]:start:] [***[email protected]:start:***]Action updated in DB! 
2016-05-24 10:37:18,164 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]:start:] No Notification URL is defined. Therefore nothing to notify for job [email protected]:start: 
2016-05-24 10:37:18,165 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000001-160524103133053-oozie-oozi-W 
2016-05-24 10:37:18,188 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Start action [[email protected]] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 
2016-05-24 10:37:26,080 INFO SqoopActionExecutor:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Trying to get job [job_1462295072181_0163], attempt [1] 
2016-05-24 10:37:26,106 INFO SqoopActionExecutor:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] checking action, hadoop job ID [job_1462295072181_0163] status [RUNNING] 
2016-05-24 10:37:26,108 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] [***0000001-160524103133053-oozie-oozi-[email protected]***]Action status=RUNNING 
2016-05-24 10:37:26,114 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] [***[email protected]***]Action updated in DB! 
2016-05-24 10:37:26,184 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] No Notification URL is defined. Therefore nothing to notify for job [email protected] 
2016-05-24 10:37:37,181 INFO CallbackServlet:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] callback for action [[email protected]] 
2016-05-24 10:37:37,314 INFO SqoopActionExecutor:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Trying to get job [job_1462295072181_0163], attempt [1] 
2016-05-24 10:37:37,388 INFO SqoopActionExecutor:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] action completed, external ID [job_1462295072181_0163] 
2016-05-24 10:37:37,395 WARN SqoopActionExecutor:523 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1] 
2016-05-24 10:37:37,484 INFO ActionEndXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] ERROR is considered as FAILED for SLA 
2016-05-24 10:37:37,679 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] Start action [[email protected]] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 
2016-05-24 10:37:37,683 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] [***[email protected]***]Action status=DONE 
2016-05-24 10:37:37,683 INFO ActionStartXCommand:520 - SERVER[***] USER[oozie] GROUP[-] TOKEN[] APP[Trend_Analysi_Scoop_Script] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] [***[email protected]***]Action updated in DB! 
2016-05-24 10:37:37,930 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] No Notification URL is defined. Therefore nothing to notify for job [email protected] 
2016-05-24 10:37:37,931 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000001-160524103133053-oozie-oozi-W 
2016-05-24 10:37:37,931 INFO WorkflowNotificationXCommand:520 - SERVER[***] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-160524103133053-oozie-oozi-W] ACTION[[email protected]] No Notification URL is defined. Therefore nothing to notify for job 0000001-160524103133053-oozie-oozi- [email protected]

私は誰かが任意の助けをいただければ幸い同じ

に私を助けることができれば、それは本当に素晴らしいことだ場合oozieは、共有/ libが拾っていないと思います。

出典

2016-05-24 Hardeep Ajmani

ランチャージョブからログを確認できますか？あなたはその失敗に関するより多くの情報を見つけるべきですか？ – YoungHobbit

どこでランチャージョブログを取得できますか？ –

sqoopアクションの「コマンド」タグに問題があるようです。それはすでにsqoopアクションであるため、 "/usr/hdp/2.4.0.0-169/sqoop/bin/sqoop"は必要ありません。下記のリンクの例を参照して修正してください。そして、仕事をもう一度やり直してみてください。

https://oozie.apache.org/docs/4.0.0/DG_SqoopActionExtension.html#Sqoop_Action

出典

2016-05-25 13:46:29 SyedAbid

私は家のシステムで同じものを試して、同じエラーが発生しました。あなたが言ったすべての提案が実装され、同じ質問を編集します。 –

sharelibを使用する別の方法があります。必要なすべてのjarを "/ user/oozie/libraries"のようなHDFS上のディレクトリにコピーし、job.propertiesファイルで次のプロパティを使用してください。 oozie.libpath =/user/oozie/libraries – SyedAbid

あなたはoozieでサポートされていないcommand要素に--queryオプションを使用しています。 argタグを使用し、すべての引数を個別に指定する必要があります。 commandタグは空白で分割されているため、--queryオプションでは機能しません。ここにサンプルの例を示します。

 <arg>import</arg> 
     <arg>--connect</arg> 
     <arg>jdbc:mysql://host:3306/oozie</arg> 
     <arg>--username</arg> 
     <arg>user</arg> 
     <arg>--password</arg> 
     <arg>pwd</arg> 
     <arg>--driver</arg> 
     <arg>com.mysql.jdbc.Driver</arg> 
     <arg>--query</arg> 
     <arg>"select BUNDLE_ACTIONS.* from BUNDLE_ACTIONS where $CONDITIONS"</arg> 
     <arg>--hcatalog-table</arg> 
     <arg>bundle_actions</arg> 
     <arg>--hcatalog-database</arg> 
     <arg>oozie</arg> 
     <arg>--skip-dist-cache</arg> 
     <arg>-m</arg> 
     <arg>1</arg>

出典

2016-05-26 04:18:13 YoungHobbit

これは完了しましたが、まだ成功していません。更新された質問と同じ。 –

ランチャージョブログを確認する必要があります。あなたはOozie Web UIからアクセスできます。ワークフロー、sqoopアクション、およびコンソールURLに移動します。これはランチャージョブです。 – YoungHobbit

Oozieエラー - mysqlからhdfsへのデータのインポート中

答えて

関連する問題