pysparkのjoin関数を使って2つの鍵で2つのrddを結合できますか？

Question

インスタンスのように：

rdd1 = [('magnus', 'nordea', 13000), ('Erik', 'nordea', 13000), ('Ola', 'nordea', 19000), ('rohit', 'nordea', 23030)] 
rdd2 = [('magnus', 'jpmc', 14000), ('Erik', 'jpmc', 2100), ('Ola', 'jpmc', 18400), ('rohit', 'jpmc', 25000)] 


rdd1.join(rdd2).collect() gives me : 
[('Ola', ('nordea', 'jpmc')), ('Erik', ('nordea', 'jpmc')), ('rohit', ('nordea', 'jpmc')), ('magnus', ('nordea', 'jpmc'))] 

上記RDDその量値を失う:(

必要な出力：

[(('Ola','nordea'),13000), 
(('Ola','jpmc'),14000), 
(('Erik','nordea'),13000), 
(('Erik','jpmc'),2100), 
(('rohit','nordea'),23030), 
(('rohit','jpmc'),25000), 
(('magnus','nordea'),13000), 
(('magnus', 'jpmc'),14000)] 

その上の任意の提案や、私が参照すべきかの機能を？

Answer 1

spark.version 
# u'2.2.0' 

rdd1 = sc.parallelize([('magnus', 'nordea', 13000), ('Erik', 'nordea', 13000), ('Ola', 'nordea', 19000), ('rohit', 'nordea', 23030)]) 
rdd2 = sc.parallelize([('magnus', 'jpmc', 14000), ('Erik', 'jpmc', 2100), ('Ola', 'jpmc', 18400), ('rohit', 'jpmc', 25000)]) 

rdd1.union(rdd2).map(lambda x: ((x[0], x[1]), x[2])).collect() 

結果：

[(('magnus', 'nordea'), 13000), 
(('Erik', 'nordea'), 13000), 
(('Ola', 'nordea'), 19000), 
(('rohit', 'nordea'), 23030), 
(('magnus', 'jpmc'), 14000), 
(('Erik', 'jpmc'), 2100), 
(('Ola', 'jpmc'), 18400), 
(('rohit', 'jpmc'), 25000)] 

Answer 2

 rdd1.union(rdd2).collect() 

出力：

[('magnus', 'nordea', 13000), 
    ('Erik', 'nordea', 13000), 
    ('Ola', 'nordea', 19000), 
    ('rohit', 'nordea', 23030), 
    ('magnus', 'jpmc', 14000), 
    ('Erik', 'jpmc', 2100), 
    ('Ola', 'jpmc', 18400), 
    ('rohit', 'jpmc', 25000)]