Googleクラウドデータフロー - Apacheのビーム - パイプラインのシャットダウンフック

Question

apacheのビームパイプラインがシャットダウンされているときに実行されるだろうコード片配置する「フック」のいくつかの種類がある場合は疑問に思う（何らかの理由で - キャンセル、クラッシュが）

Dataflowが停止するたびに、pubsubトピックのサブスクリプションを削除する必要があります。

Answer 1

Apache Beamは、この種のフローには当然適していません。このためには、Apache Airflowのようなオーケストレーションエンジンを見たいかもしれません。

エアフローを使用すると、Beamパイプラインが終了/失敗/キャンセルされた後に実行する任意の種類のスクリプトをスケジュールすることができるはずです。