numpy行列をpyspark rddに変換する

Question

私は2dのnumpyの配列を持っています。行列の各行がrddのエントリであるところからpyspark rddを作成するにはどうすればよいですか？

ように：

rddData.take(1)[0] == list(aaData[0]) 

aaDataがnumpyの2Dアレイ（行列）であり、rddDataはaaDataから作成RDDありますか？

Answer 1

だけparallelizeそれ：

mat = np.arange(100).reshape(10, -1) 
rdd = sc.parallelize(mat) 

np.all(rdd.first() == mat[0]) 
## True