作成組み合わせPyspark

Question

は、だから私のRDDは次のように見ているデータで構成されています。

だから、エンドマップは次のようになります。私は値の一部を取得するために知って

(k1, (v1,v2)) 
(k1, (v1,v3)) 
(k1, (v2,v3)) 

、私は

rdd.cartesian(rdd).filter(case (a,b) => a < b) 

のようなものを使用しますが、それは（渡される全体RDDが必要です右？）価値の部分だけではありません。私は私の希望の終わりに到着する方法が不明です、私はそのグループの疑いがあります。

はまた、最終的に、私はkに取得したい、V

((k1,v1,v2),1) 

のように見える、私はそれに探しています何から取得する方法を知っているが、まっすぐそこに行くことは多分その容易な？

ありがとうございました。

Answer 1

私はイスラエルの答えが不完全であるので、私はさらに一歩進んだと思います。

import itertools 

a = sc.parallelize([ 
    (1, [1,2,3,4]), 
    (2, [3,4,5,6]), 
    (3, [-1,2,3,4]) 
    ]) 

def combinations(row): 
    l = row[1] 
    k = row[0] 
    return [(k, v) for v in itertools.combinations(l, 2)] 

a.map(combinations).flatMap(lambda x: x).take(3) 
# [(1, (1, 2)), (1, (1, 3)), (1, (1, 4))] 

Answer 2

itertoolsを使用して組み合わせを作成します。ここではデモがある：

import itertools 

k, v1, v2, v3 = 'k1 v1 v2 v3'.split() 

a = (k, [v1,v2,v3]) 

b = itertools.combinations(a[1], 2) 
data = [(k, pair) for pair in b] 

dataは次のようになります。

[('k1', ('v1', 'v2')), ('k1', ('v1', 'v3')), ('k1', ('v2', 'v3'))]