AWSデータパイプラインでEMRクラスターを起動する方法パイプラインフローでのアクティビティの完了後のみ

Question

AWSデータパイプラインフローで1つのマイアクティビティが完了した後でEMRクラスターを起動することは可能ですか？

1. Redshiftからデータをアンロードします（1時間か1時間かかります）。
2. スタートEMRクラスタ
3. ように、クラスタ

を終了し、私は「スタートEMRクラスタ」のような依存関係を持ちたい

いくつかの他の活動をすべき実行EMRクラスターに

をSPARKジョブを実行します「RedshiftからS3へのデータのアンロード」、「クラスタの終了」は「Sparkジョブの実行、他のアクティビティの実行」に依存する必要があります。

これを手伝ってくれる人がいますか？

-Krish

Answer 1

あなたはここにPrecondition を利用することによってそれを行うことができ、より詳細

ためのドキュメントはまた、あなたがそう前提

としてコピー操作と入れてコピー操作を使用してそれを行うことができますです一度EMRクラスタを作成することを前提条件とすることができます。

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-concepts-preconditions.html