Pyspark（key、value）の対と（key、[値のリスト]）の対

Question

私は、次のようなSparkのキー値のペアを持っているとします。

[ (Key1, Value1), (Key1, Value2), (Key1, Vaue3), (Key2, Value4), (Key2, Value5) ] 

ここでは、これを減らしたいと考えています。

[ (Key1, [Value1, Value2, Value3]), (Key2, [Value4, Value5]) ] 

つまり、Key-ValueからKey-List of Valuesです。

マップを使用してこれを行うにはどうしたらいいですか？

Answer 1

もちろん、mapとreduceで行うことは可能ですが、確かに難読化の練習になるでしょう。反復的にそれをやっては簡単です：

lists={}  # key -> list of values 
output=[] 
for k,v in input: 
    l=lists.get(k) 
    if l is None: 
    l=lists[k]=[] 
    output.append((k,l)) # empty for now 
    l.append(v) 

注意事項（それだけで単一の例からの要求を取得するのは難しいので）：

1. これは、キーがhashableであることを前提としています。
2. [(k1,v1),(k2,v2),(k1,v3)]などのリストをサポートしています。すべての​​ペアが隣接しているわけではありません。
3. 最初に登場する順にキーをoutputのリストに入れます。
4. キーに表示される順序ですべての値（重複を含む）を置きます。