PySpark：一部の列を無視してデータフレームを減算する

Question

pysparkの2つのデータフレームの間で減算を実行したい。データフレームを減算しながらいくつかの列を無視しなければならないという課題があります。しかし、最後のデータフレームには、無視された列を含むすべての列が含まれている必要があります。ここで

は一例です：

期待

userLeft = sc.parallelize([ 
    Row(id=u'1', 
     first_name=u'Steve', 
     last_name=u'Kent', 
     email=u's.kent@email.com', 
     date1=u'2017-02-08'), 
    Row(id=u'2', 
     first_name=u'Margaret', 
     last_name=u'Peace', 
     email=u'marge.peace@email.com', 
     date1=u'2017-02-09'), 
    Row(id=u'3', 
     first_name=None, 
     last_name=u'hh', 
     email=u'marge.hh@email.com', 
     date1=u'2017-02-10') 
]).toDF() 

userRight = sc.parallelize([ 
    Row(id=u'2', 
     first_name=u'Margaret', 
     last_name=u'Peace', 
     email=u'marge.peace@email.com', 
     date1=u'2017-02-11'), 
    Row(id=u'3', 
     first_name=None, 
     last_name=u'hh', 
     email=u'marge.hh@email.com', 
     date1=u'2017-02-12') 
]).toDF() 

：

ActiveDF = userLeft.subtract(userRight) ||| Ignore "date1" column while subtracting. 

最終結果は "日付1" の列を含む次のようになります。

+----------+--------------------+----------+---+---------+ 
|  date1|    email|first_name| id|last_name| 
+----------+--------------------+----------+---+---------+ 
|2017-02-08| s.kent@email.com|  Steve| 1|  Kent| 
+----------+--------------------+----------+---+---------+ 

Answer 1

あなたがanti-joinを必要とするようだ：

userLeft.join(userRight, ["id"], "leftanti").show() 
+----------+----------------+----------+---+---------+ 
|  date1|   email|first_name| id|last_name| 
+----------+----------------+----------+---+---------+ 
|2017-02-08|s.kent@email.com|  Steve| 1|  Kent| 
+----------+----------------+----------+---+---------+ 

Answer 2

ます。またfull joinを使用してのみnull値に保つことができます。

userLeft.join(
    userRight, 
    [c for c in userLeft.columns if c != "date1"], 
    "full" 
).filter(psf.isnull(userLeft.date1) | psf.isnull(userRight.date1)).show() 

    +------------------+----------+---+---------+----------+----------+ 
    |    email|first_name| id|last_name|  date1|  date1| 
    +------------------+----------+---+---------+----------+----------+ 
    |marge.hh@email.com|  null| 3|  hh|2017-02-10|  null| 
    |marge.hh@email.com|  null| 3|  hh|  null|2017-02-12| 
    | s.kent@email.com|  Steve| 1|  Kent|2017-02-08|  null| 
    +------------------+----------+---+---------+----------+----------+ 

使用したい場合は、それはleftantiかのかどうか、加入をfullnullのデフォルト値を見つける必要があります（私は以前のスレッドで議論したと思う）。

あなたはsubtractとjoin気にもちょうどdrop列ことができます： "leftanti"

df = userLeft.drop("date1").subtract(userRight.drop("date1")) 
userLeft.join(df, df.columns).show() 

    +----------------+----------+---+---------+----------+ 
    |   email|first_name| id|last_name|  date1| 
    +----------------+----------+---+---------+----------+ 
    |s.kent@email.com|  Steve| 1|  Kent|2017-02-08| 
    +----------------+----------+---+---------+----------+