oozie

0熱

1答えて

コーディネーターを強制終了した後、どのようにしてoozieワークフローを実行させることができますか？

私はしばらくの間oozieと一緒に作業していましたが、私はコーディネーターを殺したがっていましたが、コーディネーターによって開始されたワークフローを殺したくありません。なぜ私はそれをしたいですか？私は、私の仕事が15分に1回実行されなければならないシナリオを持っていますが、現在実行中のインスタンスにロードされている履歴データと、残りのジョブが積み重なっているため、下の写真はその例です。 Oozi

0熱

1答えて

同じワークフローエラーでJavaアクションとスパークアクションが発生する

私は、javaとsparkという2つのアクションを持つワークフローを持っています。 libディレクトリには、私はジャーの両方を保持する場合は、Javaの動作が完了しますが、スパークアクションが 2017-12-01 03:50:02,612 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MR

0熱

1答えて

Oozie hdfsの場所から別の場所にファイルをコピーする

oozie fs moveオプションを使用して、あるhdfsフォルダから別のhdfsフォルダにデータをコピーします。しかし、ターゲットが存在する場合、fsコマンドは、ソースをターゲット・ディレクトリーの子として期待どおりに配置します。これを避け、ソースからターゲットにavroファイルのみをコピーする方法はありますか？

0熱

1答えて

oozie、コーディネーターにスケジューラー時間を渡してください。

Javaアクションにスケジューラー時間を渡す必要があります。たとえば、1分のスケジューラ時間を設定します。現在の時間は15:45ですが、遅延やエラーが発生したため、現在実行されているJavaアクション時間は15:40（5分遅れ）になり、Javaアクションで実行時間を記録する必要があります。 Javaコード（jar）を引数として使用します。どうすればこの問題を解決できますか？おかげ

0熱

1答えて

フォークされたアクションの1つが成功したときにOozieが参加する

私はウォッチャーとウォッチャーの2つのアクションを持つフォークから始まるおなじワークフローを持っています。 watcher1またはwatcher2のいずれかが成功するとすぐに参加を進める必要があります。私は上記のシナリオを達成するために何かできることがありますか？

0熱

1答えて

スパークコーディネーターで時間指定されたスパークジョブの特定の時間を取得する方法

私のコーディネーターが期待どおりに機能していないのに気がつきました。 2つのスパークジョブをそれぞれ実行して、2番目のジョブを最初のジョブの扶養者にしたいと考えています。私は毎時_SUCCESSファイルを生産する最初の仕事を完了しました。問題は、2番目のジョブが依存関係を見つけるときに間違っていることです。HOUR。実行時の時刻ではなく、常に00が表示されます。ここは、第2のジョブの依存 <da

0熱

1答えて

Oozie 4.3.0ビルドはHadoopの2.9.0

に失敗した私はこのようなコマンドでビルドを実行した ./mkdistro.sh -DskipTests -D hadoop.version=2.3.0 -P uber -P hadoop-2 しかし、すべてのエラーメッセージで失敗しました： [ERROR] COMPILATION ERROR : [INFO] ------------------------------------------

0熱

2答えて

Kafka-> S3-> Oozie-> Hadoop、Kafka、S3ロケーションへの書き込み、このフォルダを15分ごとに読み込み、新しいファイルをhadoopにプッシュ

上記のタイトルはワークフローを説明しています。さらに、共有されたS3フォルダへのアップデートを管理する方法についても説明します。ここで、oozieはデータの消費者であり、kafkaはデータのプロデューサです。データのプロデューサがその場所に継続的に書き込みを行っている場合、どのファイルが既に消費され、どのファイルがまだ消費されているのか。これを維持するためにAmazon-s3によって提供される

0熱

1答えて

oozieを使用してローカルからhdfsにファイルをコピーする方法

oozieを使用して、エッジノードからHDFSにファイルをコピーしようとしています。多くの人は、これを実現するためにパスワードを少なく設定することを提案しました。サービスユーザーであるため、Iomeはoozieにログインできません。パスワード以外の方法はありません。ありがとうございます。

0熱

1答えて

パラメータの割り当てによってOozieハイブアクションが失敗しますか？

私はOozieを使って単純なHiveスクリプトを実行してテストしようとしていますが、私は意味をなさないエラーを受けています。ジョブを送信するたびに、「ジョブが失敗しました。エラーメッセージ[パラメータ式には割り当てが含まれている必要があります：jobRequest]」というエラーメッセージが表示されます。しかし、私はこのパラメータを定義しておき、最初に設定を送信したときに値を割り当てます。問題