awsデータパイプラインでサブツリーを実行する方法

Question

awsデータパイプラインの下で依存関係ツリー全体のサブパートを実行することは可能ですか？私が理解できるものとして、それをする方法はありません。

パイプライン全体または一部の単一のSQLアクティビティを再実行する必要があります。 SQLアクティビティの数が増え始めると、これはやりにくくなります。 ..

Answer 1

私はあなたのユースケースが何であるか分かりませんが、このトリックはあなたを助けるかもしれないと思います。

交差点のないツリーのセットでグラフを分解する必要があります。異なるツリーのノードを接続するすべてのエッジは、ジョイントノードで置き換える必要があります。前部例もしグラフ場合である：

A1 -> A2 -> J1 -> B1 -> B2 

J1ジョイントノードである：ここ

A1 -> A2 -> B1 -> B2 

は、2つのツリーAおよびBは、このグラフは、ベローグラフに変換されるべきです。

ツリー内のすべてのノードは、プロパティfailureAndRerunModeをcascadeに設定する必要があります。すべてのジョイントノードは、このプロパティをnoneに設定する必要があります。

これにより、カスケード障害をサブツリーのサイズにローカライズすることができます。