0
私はsqoopアクションで忙しいワークフローを抱えており、コマンドラインからこれらのsqoopアクションのログ（stdout）を取得したいと考えています。コマンドラインからoozie sqoopアクションのログを取得する
これは私が仕事だろうと思ったものです。その後、私が使用
------------------------------------------------------------------------------------------------------------------------------------
[email protected]_1 OK job_1503124774831_0013 SUCCEEDED -
------------------------------------------------------------------------------------------------------------------------------------
[email protected]_2 OK job_1503124774831_0014 SUCCEEDED -
------------------------------------------------------------------------------------------------------------------------------------
そして：
アクションのjob_idsを印刷しoozie job -info 0000002-170819062150496-oozie-oozi-W
mapred job -logs job_1503124774831_0013
しかし、このmapreduceログのみを表示するs。 SQoopのstdoutログは、処理されたレコードの数がHueのように見えますが、--last-value（インクリメンタルの場合）は利用できません。
これを入手する方法はありますか？
EDIT： sqoop設定ファイルとワークフローファイルを追加する。
sqoop_import_config.txt
import
--connect
${connect}
--username
${username}
--password
${pwd}
--hive-delims-replacement
\001
--fields-terminated-by
\003
--null-string
\\N
--null-non-string
\\N
--target-dir
/data/${table}/${shard}
--query
SELECT ${columns} from ${table} WHERE $CONDITIONS
--split-by
id
--boundary-query
select min(id), max(id) from ${table}
--m
${numMappers}
--incremental
lastmodified
--last-value
${lastValue}
--check-column
updated_at
--merge-key
id
workflow.xml
<workflow-app name="${tableName}_${type}_Sqoop" xmlns="uri:oozie:workflow:0.5">
<credentials>
<credential name="hive2" type="hive2">
<property>
<name>hive2.jdbc.url</name>
<value>${hive2JdbcUrl}</value>
</property>
<property>
<name>hive2.server.principal</name>
<value>${hive2MetastorePrincipal}</value>
</property>
</credential>
</credentials>
<start to="sqoop-import-fork"/>
<kill name="Kill">
<message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<fork name="sqoop-import-fork">
<path start="sqoop-import-shard_1"/>
<path start="sqoop-import-shard_2"/></fork>
<action name="sqoop-import-shard_1"> <sqoop xmlns="uri:oozie:sqoop-action:0.2"><arg>--options-file</arg> <arg>${tableName}_shard_1_import.txt</arg></sqoop> <ok to="sqoop-import-join"/> <error to="email-b1f2"/> </action>
<action name="sqoop-import-shard_2"> <sqoop xmlns="uri:oozie:sqoop-action:0.2"><arg>--options-file</arg> <arg>${tableName}_shard_2_import.txt</arg></sqoop> <ok to="sqoop-import-join"/> <error to="email-b1f2"/> </action>
<action name="move-data" cred="hive2">
. . .
あなたSqoopコマンドと 'oozieのworkflow.xml' –
@SandeepSingh追加を投稿することができます。それが役に立てば幸い。コマンドラインからsqoopのアクションログが必要となるようなユースケースに遭遇しましたか？ – PratPor
はい、シェルアクションを使用していました。私はSqoopアクションで試してみましょう。 –