dataflowのpython zip関数に相当するものは何ですか？

Question

私は、データフローのpython apache_beamバージョンを使用しています。私はそれぞれ約400万エントリの配列を持つ約300のファイルを持っています。全体が約5Gbで、gsバケットに保管されています。

Iは、容易にファイルを読み取ることによってアレイ{x_1, ... x_n}のPCollectionを生成することができ、私は今、実行する必要がある操作は、Pythonのzip関数のようである：私は各要素が0からN-1までPCollectionを、必要iファイル全体にあるx_iの配列が含まれています。私はyieldをそれぞれの要素に対して(i, element)を送信してからGroupByKeyを実行しようとしましたが、それは非常に遅くて非効率です（メモリの制約のためにローカルでは全く動作しません。私が望むなら、少なくともデータセットのすべてをロードすることができます）。

パイプラインをきれいに再構築するにはどうすればよいですか？

Answer 1

上記のコメントでjkffが指摘したように、コードは確かに正しいので、テンソルフローアルゴリズムをプログラミングするには、手順が推奨されます。各要素に適用されたDoFnはボトルネックでした。