spark別のdfにcondtionsを持つデータフレームに列を追加する

Question

私は以下の問題を抱えています：都市値が 'noClue'のとき、データフレームAに列RealCityを追加したい、キーを使用してdf Bから選択するもの、市を得る。

表A：

+---------+--------+ 
    |  Key | City| 
    +---------+--------+ 
    |a  | PDX | 
    +---------+--------+ 
    |b  | noClue | 

表B：

+---------+--------+ 
    |  Key | Name | 
    +---------+--------+ 
    |c  | SYD | 
    +---------+--------+ 
    |b  | AKL | 

私は.withColumnとwhenを使用したいが、私はそれをこの方法を実行して、値が別のテーブル（テーブルB）を選択することはできません。これを行う良い方法は何ですか？どうもありがとう！

Answer 1

は、あなたが持っていることを考えると2 dataframes

A：

+---+------+ 
|key|City | 
+---+------+ 
|a |PDX | 
|b |noClue| 
+---+------+ 

B：

+---+----+ 
|key|Name| 
+---+----+ 
|a |SYD | 
|b |AKL | 
+---+----+ 

することはでき単に共通Keyとjoinそれらを使いwithColumnと

として when機能

val finalDF = A.join(B, Seq("Key"), "left").withColumn("RealCity", when($"City" === "noClue", $"Name").otherwise($"City")).drop("Name") 

あなたは

+---+------+--------+ 
|key|City |RealCity| 
+---+------+--------+ 
|a |PDX |PDX  | 
|b |noClue|AKL  | 
+---+------+--------+