.join（）pysparkの逆

Question

joinは、一致するキーを持つ要素のすべてのペアを含むRDDを返します。

https://spark.apache.org/docs/1.6.2/api/python/pyspark.html#pyspark.RDD.join

例：

trueDupsRDD = (rdd1.join(rdd2)) 

がどのように分けるを行うことができますか？

私が試した：

notMatchingRDD = (rdd1.join(!rdd2)) 

Answer 1

使用subtractByKey：

戻るCで キーと一致するとは対を有していないC {自己}中の各（キー、値）ペア{他} 。 rdd2` `していないデータのための` rdd1.filter`のいくつかのアプリケーションについて

rdd1.subtractByKey(rdd2)