azkaban

0熱

1答えて

ジョブが失敗した後にAzkabanの動作を制御する方法があります特定のジョブが失敗した場合に特定のことを行うことを意味しますハイブへの負荷が失敗し、可能ですか？または私が挿入し、パイソンのような失敗を処理する特定のジョブを作成する必要があり、私はこれを処理おかげ

0熱

1答えて

Azkabanの並列フロー/デプジェンシの設定優先度

私はAzkaban 3.4.1を使用していますが、私のフローの1つに30以上の依存関係があります。いくつかの依存関係は、別の依存関係よりも時間がかかります。したがって、私はこれらのフローの優先順位をつけて、別のフローが流れる前に開始したいと考えています。（実行中のスレッドが制限されているため）現在のところ、パラレル実行の数はflow.num.job.threads（デフォルトでは10）に制限さ

0熱

1答えて

失敗アズカバンスパーク仕事を失敗

ユースケースの代わりに成功、最終的な地位を持っていますジョブの最終ステータスはFAILEDです実際の結果： HadoopのRMは、ジョブの最終状態が正常であると述べ誰もがそれを固定することができます方法を知っていますか？

-1熱

1答えて

Sparkストリーミングジョブのスケジュール

spark-submitスクリプトを使用して手動で実行しているSparkストリーミングジョブがあります。私は毎日実行するようにスケジュールしたい。 Azkaban、Airflow、Oozie、Crontab、Spark-jobserver、Quartz、Luigiのどれが良いですか。ご了承ください。

0熱

2答えて

Apache Activitiワークフロー実行は別のプロセスまたはActivitiプロセス内で行われます

私は、私たちのワークフローユースケースの1つとして、AzkabanとApache Activitiを調査しています。私が理解していることは、Azkaban内の各作業が別々のプロセスとして実行されること、Activitiと同じこと、またはActivitiのメインプロセス内でActivitiタスクが別々のスレッドとして実行されることです。

6熱

2答えて

azkabanはエグゼキュータIDを変更し続ける

私はAzkaban 3.0を使用しています。私は実行している単純なエコージョブを持っており、フローパラメータにsetExecutor = id＃を設定してエグゼキュータを指定しています。私はtiseジョブを実行するたびに、2つのエグゼキュータの間で交互に実行されますが、2番目のエグゼキュータのみで実行するようにジョブ定義で明示的に指定されています。設定で何か変更する必要がありますか？エグゼキュ

0熱

1答えて

デフォルトでAzkabanジョブを無効にするパラメータ

3つのジョブを含む1つのフローを持つ次のAzkaban構成では、デフォルトでJob2を無効にするにはどうすればよいですか？そのためのパラメータ/設定はありますか？私はUIに入り、手動でジョブを無効にすることができます。しかし、私はJob2をデフォルトでは無効にしておき、必要な時にのみUIから有効にしたいと思っています。 hadoop { def input = "..."

0熱

1答えて

Google Cloud BigtableでAzkabanを使用できますか？

Google Cloud BigtableでAzkabanを使用できますか？Apache HBaseと同じですか？

0熱

1答えて

Azkabanフローを事前検証する処理

Azkabanフローをサーバにアップロードする前に、Azkabanフローを検証したいと思います。私たちにはプラグインなどがありますか？この検証を行うAzkaban githubのクラスは何ですか？私はちょうどそれらを適応させて、それを検証に使うことができました。

3熱

1答えて

Googleのデータフロー用のワークフローオーケストレーション

Google Dataflowを使用してバッチデータを処理し、ワークフローオーケストレーションツールのいくつかのオプションをAzkabanがHadoopと同様のものを探しています。我々が探しているものがあるキーの事、ワークフロースケジュールのワークフローの設定監視と警告失敗したワークフロー失敗したジョブを再実行する機能我々 Pentahoを評価しましたが、これらの機能はエンタープライズ