Apache BeamのParDoとFlatMap？

Question

Dataflow/Apache BeamにParDoとFlatMapの違いがありますか？

私は両方とも入力PCollectionの各要素に関数を適用し、iterableを返すと思います。私はいくつかの違いがなければならないと思いますか？

Answer 1

FlatMapは、より簡単な操作built as you might expect from ParDoです。これがあなたのニーズに合っているなら、それは良い選択です。

ParDoは、追加side inputs、multiple output collections、access to the current windowのような機能、要素のバンドルを開始し、コミットするためのいくつかの本当に低レベルのコールバック、そしてより多くを持っている要素単位の計算の下位レベルのビルディングブロックです。

実際には、FlatMapとParDoの多くの用途が同様のコード一括で終わっていますが、私の意見では、最も単純な（最高レベルの）変換を使用するのが最も読みやすいです。