oozie-workflow

0熱

1答えて

Oveieエディタ（HUE）を使用しているところで、HiveServer2スクリプトを持つワークフローを作成しました。このスクリプトは、Hive DBでテーブルを作成するSQLクエリを実行します。クエリは次のとおりです。 - CREATE TABLE IF NOT EXISTS dbname.table1 (key INT, value STRING); それが正常に実行されますが、私はdb

0熱

1答えて

Hiveでクエリ出力を取得するには？

私はOozieのワークフローからのクエリを実行します。 select * from hivetable limit=5; クエリが正常に実行されますが、ログに私が選択クエリの出力を見ることができません。

0熱

1答えて

スパーク送信は正常に実行されますが、oozieから送信された場合、ハイブへの接続に失敗します

私はCDH 5.9.0、Spark 1.6、Scala 2.10.0を使用しています。私はテーブルを作成し、ファイルからハイブにデータをロードするためのスカラとスパークプログラムを作成しました。 spark submitを使用して実行すると、完了します。しかし、同じプログラムがoozieを通して提出されたとき、それは以下の例外を投げます。以下は例外です。 Log Type: stdout Lo

0熱

1答えて

フォークされたアクションの1つが成功したときにOozieが参加する

私はウォッチャーとウォッチャーの2つのアクションを持つフォークから始まるおなじワークフローを持っています。 watcher1またはwatcher2のいずれかが成功するとすぐに参加を進める必要があります。私は上記のシナリオを達成するために何かできることがありますか？

0熱

1答えて

カスタムパーティションがOozie Mapreduceアクションで動作しない

mapreduceで2次ソートを実装し、Oozie（Hueから）を使用して実行しようとしました。私はプロパティでパーティショナークラスを設定しましたが、パーティショナーは実行されていません。だから、期待どおりの出力が得られません。 hadoopコマンドを使用して実行すると、同じコードが正常に実行されます。そして、ここでは <workflow-app name="MyTriplets" xmln

0熱

1答えて

スパークコーディネーターで時間指定されたスパークジョブの特定の時間を取得する方法

私のコーディネーターが期待どおりに機能していないのに気がつきました。 2つのスパークジョブをそれぞれ実行して、2番目のジョブを最初のジョブの扶養者にしたいと考えています。私は毎時_SUCCESSファイルを生産する最初の仕事を完了しました。問題は、2番目のジョブが依存関係を見つけるときに間違っていることです。HOUR。実行時の時刻ではなく、常に00が表示されます。ここは、第2のジョブの依存 <da

0熱

1答えて

oozie - 数字のあるoozieの任意のアクションノードまたはコントロールノードに名前を付けることができません。

私は、多くのコントロールノードとアクションノードを持つ怠惰なワークフローを持っています。 Hueブラウザのアクションを追跡するのが少し簡単になるように、1,2,3などの接頭辞をノードの名前に付けることで、コントロールノードとアクションノードに番号を付けようとしました。私は以下のエラーを得たワークフローを検証しながらここは、ワークフロースニペット <workflow-app name="repor

0熱

1答えて

パラメータの割り当てによってOozieハイブアクションが失敗しますか？

私はOozieを使って単純なHiveスクリプトを実行してテストしようとしていますが、私は意味をなさないエラーを受けています。ジョブを送信するたびに、「ジョブが失敗しました。エラーメッセージ[パラメータ式には割り当てが含まれている必要があります：jobRequest]」というエラーメッセージが表示されます。しかし、私はこのパラメータを定義しておき、最初に設定を送信したときに値を割り当てます。問題

0熱

1答えて

共通のjob.propertiesを共有して、異なるスケジュールで複数のOozieコーディネータを起動させる方法

私は、それぞれ異なるスケジュールの複数のコーディネータ（約10人）を提出する必要があり、それぞれ依存関係はありません例：2時間ごとに1回、12時間ごとに1回）。私は、コーディネーターに接頭辞や接尾辞が付いていないコーディネーターを正確にcoordinator.xmlとして指定する必要があるという制限があることを知りました（私は区別できません）。私は自分のコードをこれを処理するために10回（各コーデ

-1熱

1答えて

oozieを使用せずにsparkを単独で実行できますか？

私はoozieをインストールしていますが、私はoozieワークフローでspark jobを実行できますか？ oozieを直接使用することなく、oozieバンドル内のsparkライブラリから独立してsparkを実行できますか？どうしたらいいですか？例を挙げて説明してください。