spark - 値とキーを比較

Question

私はsparkから始まっていますが、私はまだいくつかの概念を理解していませんでした。

私はこのような名前のペアを持つファイルがあります：

foo bar 
bar foo 

をしかし、fooとbarの間で同じ関係です。第一の出力を作成するために

step1 = joined.reduceByKey(lambda x,y: x+';'+y).map(lambda x: (x[0], x[1].split(';'))).sortByKey(True).mapValues(lambda x: sorted(x)).collect() 

、と私はのために既存の値を削除するには、別のreduceByKeyが必要だと思う：私は、私はこのコードを作成するだけで1つのリレーション

foo bar 

とRDDを作成しようとしています以前の反復が、私はそれを行う方法がわかりません。

私は正しく考えていますか？

Answer 1

どのような単純なものについて：データフレームを使用して

>>> sc.parallelize(("foo bar", "bar foo")).map(lambda x: " ".join(sorted(x.split(" ")))).distinct().collect() 
['bar foo'] 

Answer 2

from pyspark.sql import functions as f  

rdd = spark.sparkContext.parallelize([('foo', 'bar'), ('bar', 'foo'), ]) 
df = spark.createDataFrame(rdd, schema=['c1', 'c2']) 
df = df.withColumn('c3', f.sort_array(f.array(df['c1'], df['c2']))) 
df.show() 

# output: 
+---+---+----------+ 
| c1| c2|  c3| 
+---+---+----------+ 
|foo|bar|[bar, foo]| 
|bar|foo|[bar, foo]| 
+---+---+----------+ 

がはるかに簡単です