データフローの作業：関数の結合

Question

私はそのように呼び出す複数のカスタム結合関数を持っています：

私は以前にパイプラインで計算された 'データ'を持っています。

cd1 = data | customCombFn1() 
cd2 = data | customCombFn2() 
cd3 = data | customCombFn3() 

上記の場合、パイプラインはどのように機能しますか？ 'データ'は何度も何度も評価されていますか？または、cd1,cd2およびcd3がパイプラインの副産物として評価されていますか？

Answer 1

dataオブジェクトは、PCollectionです。 PCollectionに結合変換を適用すると、他のPCollectionが作成されます。

あなたがそれを呼び出すと、「再評価」はありません。 PCollectionは、通常、複数のワーカーで生成され、必要な変換によって直ちに消費されます。与えられたケースでそれが不可能な場合、通常、後で処理するためにPCollectionが保存されます。

一般に、Cloud Dataflowサービスは、自動的にユーザーのパイプラインに最適化を適用します。これを含むほとんどの場合、ユーザーは基本的な実行の考慮事項ではなく、ビジネスロジックに集中できます。