oozie

5熱

1答えて

私はoozie外径CDHから4.1.1 でハイブスクリプトを実行すると実行がで失敗します。 Error Code JA018 Error Message org/apache/hadoop/hive/cli/CliDriver Details Property Value External Id job_201211281608_0112 External Status FAILED/

5熱

3答えて

Oozieログを確認するにはどうすればいいですか

私のコーディネーターは、エラー：E0301無効なリソース[ファイル名] で失敗しました。hadoop fs -ls [ファイル名]にファイルがリストされています。どうすれば間違っているのかをデバッグできます。ログファイルを確認するにはどうすればいいですか？ oozie job -logにはjobIdが必要です。私の場合、私は仕事のIDを持っていません。どのようにすればログを見ることができますか

1熱

2答えて

oozieの日付による出力ファイルの作成

map-reduceジョブを実行するためにoozieを使用しています。私は、日付に応じて出力ファイルを作成したいと思います。しかし、それは文字列として日付を受け取り、値として日付を取るのではなく、印刷し終わる： nameNode=hdfs://localhost:8020 jobTracker=localhost:8021 date=(date +"%m%d%Y%H%M%S") oozie.

5熱

3答えて

Oozie HDFSアクションはファイルパターンまたはグロブを使用できますか？

Oozieの移動操作でワイルドカード（例：*）やファイルパターン（例：{}）を使用できますか？私の仕事の結果をアーカイブディレクトリに移動しようとしています。ディレクトリ構造の州： output - 201304 - 201305 archive - 201303 私のアクション： <fs name="archive-files"> <move source="hdfs:

6熱

2答えて

Oozieワークフロー：ハイブテーブルが見つかりませんでしたが、存在します

4台のマシンからなるCDH4クラスタ（1つのマスターすべて、3つの "ダム"ワーカー）で稼働する、怠惰なワークフローがあります。ハイブメタストアは、mysql（ドライバが存在する）を使用してマスタ上で実行され、oozieサーバもmysqlを使用してマスタ上で実行されます。 Webインターフェイスを使用して、想定どおりにハイブをインポートしたり照会したりできますが、同じクエリを同じワークフローで実行

6熱

1答えて

Oozie MRランチャーの意義は何ですか？

私はSqoop、Hive、Pigのアクションで簡単なOozieワークフローを作成しました。各アクションのために、OozieはMRランチャーを起動し、次にアクション（Sqoop/Hive/Pig）を起動します。したがって、ワークフローには3つのアクションに対して合計6つのMRジョブがあります。なぜ、OozieはMRランチャーを起動してアクションを開始し、直接アクションを開始しないのですか？

9熱

1答えて

oozieはどのように依存関係を処理しますか？

私はoozie 2.3共有ライブラリに関するいくつかの質問を持っている：現在、私たちのcoordinator.propertiesで共有ライブラリを定義しました。ここで oozie.use.system.libpath=true oozie.libpath=<hdfs_path> は私の質問です：ときシェアライブラリは他のデータノードにコピーされ、いくつのデータノードが共有ライブラリを取

6熱

2答えて

Oozieで殺害されたジョブに関するより具体的なエラー情報を得る方法

Oozieワークフローのステップとして実行しているhadoop map-reduceジョブがあります。 org.apache.hadoop.util.Toolを実装するjavaアクションを使用して開始されます。何らかの理由でジョブが強制終了された場合、処理中に例外が発生した場合はスタックトレースを含む通知を電子メールで送信できます。現在、私はそれをこのように実行します。 <action nam

5熱

2答えて

oazieを使用してmapreduceジョブの複数の出力ストリームに書き込む正しい方法は何ですか？

新しいHadoop APIを使用して一連のmap-reduceジョブを作成しています。私はOozieを使用してこれらのすべてをパイプライン化する予定ですが、ワークフローのmap-reduceノードから複数の出力ストリームを実行する方法を見つけることができません。通常、複数の出力を書き込むには、MultipleOutputs javadocのコードに似たコードを使用しますが、oozieはすべての設