0
Aが出力を生成しないとき、PTransform BをPTransform Aに依存させる方法はありますか?あるいは、Aにサイド入力としてBに供給されるダミー出力を生成させる必要がありますか?Apache Beam:ステップBはAの出力をBに渡さずにステップAに依存できますか?
Z = read file
A = count lines in file, and throw error if there are no lines
B = do something with the file
私はBが唯一の終了後に開始したいのですが、AはそれがあるB.
ありがとう:あなたは原始的
Count
はAを実装するために変換を使用することができ、かつ一箇所にすべてのロジックを移動する代わりに、次のことを考えてみましょう。私が理解しているところから、あなたの提案は、Bを2つのサブステップを持つコンポジットトランスフォームにすることです.1つはカウントがゼロの場合はエラー、もう1つがファイルを処理する場合です。しかし、この場合、後者を誤ったサブステップ出力に処理サブステップで使用される要素を出力させずに後者に依存させる方法はまだありません。 (つまり、コンポジットトランスフォームの 'apply'関数でサブステップが指定されている順序は関係ありません) BがAに依存したいという私の動機は、行数= 0の場合にBが乱れたエラーを起こすためですAが優先されるようにします。 – jwayne