Google DataFlowでパイプラインが完了した後の関数/パイプラインの実行

Question

Google DataFlowでBeamパイプラインが完了した後に関数またはパイプラインを実行しようとしています。

def func(_): 
    # do some work, and ignore `_` 

しかし、そこにある：

現在、私はfuncがある

_ = existing_pipeline | "do next task" >> beam.Map(func) 

...とnullへ前のパイプラインの結果を書き込むことによって機能を実行するためにハックを構築しましたより良い方法ですか？

Answer 1

あなたはこのような何かを行う必要があり、あなたは関数がクラウドにあなたのマシン上で実行されないようにしたいと仮定すると：

result = existing_pipeline.run() 
result.wait_until_finish() 
# do some work