pysparkで要素を使ってリストを追加する

Question

整数リストのRDDを1つのリストに減らしたいと思います。たとえば...

[1, 2, 3, 4] 
[2, 3, 4, 5] 

[3, 5, 7, 9] 

に私はジップ機能が、オブジェクトに集まることのほかに、スパークでそれを複製する方法がわからないを使用してpythonでこれを行うことができますが、私は維持したいですrddのデータ

Answer 1

rdd内のすべての要素は同じ長さである場合は、zipとreduce使用することができます。

rdd = sc.parallelize([[1,2,3,4],[2,3,4,5]]) 

rdd.reduce(lambda x, y: [i+j for i, j in zip(x, y)]) 
# [3, 5, 7, 9]