PySpark：2つのデータフレームを比較する方法

Question

私は2つのcsvファイルから読み込んだ2つのデータフレームを持っています。例：

old 
+--------+---------+----------+ 
|HOTEL ID|GB  |US  | 
+--------+---------+----------+ 
| 80341|  0.78|  0.7| 
| 255836|  0.6|  0.6| 
| 245281|  0.78|  0.99| 
| 229166|  0.0|  0.7| 
+--------+---------+----------+ 

new 
+--------+---------+----------+ 
|HOTEL ID|GB  |US  | 
+--------+---------+----------+ 
| 80341|  1 |  0.7| 
| 255836|  0.6|  1 | 
| 245281|  0.78|  0.99| 
| 333 |  0.0|  0.7| 
+--------+---------+----------+ 

と私が取得したいと思います：

expected result 
+--------+---------+----------+ 
|HOTEL ID|GB  |US  | 
+--------+---------+----------+ 
| 80341|  1 |  None| 
| 255836|  None|  1 | 
| 333 |  0.0|  0.7| 
+--------+---------+----------+ 

は、私がデータフレームのforeachメソッドをいじるされているが、それはスパーク初心者として...仕事を得るために失敗することは感謝されます任意の手がかりのために。

乾杯！

ラファエル

Answer 1

あなたが期待される結果を得るために、新旧の上で実行されている操作についての詳細を与えることができますか？

また、古いデータフレームと新しいデータフレームの間のGB列とUS列の算術演算も行っていますか？

ため、2つのデータフレームでの間と同じでない場合は、 を探しているかもしれないもののように思える参加できない場合は、これはあなたとテーブルを与える参加最初

#renaming column names for convenience 
newDF=new.toDF('HOTEL ID','N_GB','N_US') 
#doing an inner join (lookup sql joins for the type of join you need) 
old.join(newDF,'HOTEL ID','inner') 

を行う必要がありますスキーマ

| HOTEL ID | US | DB | N_US | N_GB | 
|----------|----|----|------|------| 
| 80341 |0.78| 0.7|1  | 0.7 | 
|   | | |  |  | 
|   | | |  |  |