pysparkのリストの各行のタプルの最初の項目を取得する

Question

私はSparkにとって少し新しく、単純なマッピングをしようとしています。
私のデータは、以下のようなものです：

RDD((0, list(tuples)), ..., (19, list(tuples)) 

私は何をしたいことは、各タプルの最初の項目をつかんされているので、最終的にはこのような何か：

RDD((0, list(first item of each tuple),..., (19, list(first item of each tuple)) 

は、誰かがどのように私を助けることができますこれを地図にするには？
私はそれを感謝します！

Answer 1

内map [0]：

rdd.mapValues(lambda x: [t[0] for t in x]) 

Answer 2

これは何か？

kvここでは「キー値」を意味し、値にはitemgetterをマッピングします。だから、あなたはタプルのリストにタプルのリストを変換するmapValuesを使用することができますmap

from operator import itemgetter 
rdd = sc.parallelize([(0, [(0,'a'), (1,'b'), (2,'c')]), (1, [(3,'x'), (5,'y'), (6,'z')])]) 
mapped = rdd.mapValues(lambda v: map(itemgetter(0), v)) 

:-)出力

mapped.collect() 
[(0, [0, 1, 2]), (1, [3, 5, 6])]