は、次のように私はスパークRDDを持っているスパークRDD

Question

をリシェイプ：

rdd = sc.parallelize([('X01','Y01'), 
        ('X01','Y02'), 
        ('X01','Y03'), 
        ('X02','Y01'), 
        ('X02','Y06')]) 

私は、次のような形式に変換したいと思います：

[('X01',('Y01','Y02','Y03')), 
('X02',('Y01','Y06'))] 

誰かがこの使用PySparkを達成するためにどのように私を助けることができますか？

Answer 1

簡単な操作groupByKey操作が必要です。

rdd.groupByKey().mapValues(lambda x: tuple(x.data)).collect() 

結果：septraが言ったように[('X02', ('Y01', 'Y06')), ('X01', ('Y01', 'Y02', 'Y03'))]

Answer 2

mapToPair(// with key as first column and the value will be rest of the record)を使用してRDDをPairRDDに変換し、結果のRDDにgroupByKeyを実行します。

Answer 3

、groupByKeyは何が必要methodis。さらに、すべての値に対する操作を特定のキーに適用する場合は、mapValues（）メソッドでも同じことができます。このメソッドは、1つのメソッド（グループ化された値に適用するロジック）を取り、キーごとにグループ化されたすべての値に適用します。あなたは両方の操作をしたい場合は、 "reduceByKey"メソッドに行くことができます。 "reduceByKey（）= groupByKey（）+ mapValues（）"