DataFrame.withColumnでは、2番目のパラメータの条件として列の値を使用するにはどうすればよいですか？

Question

私がどのように見えるのdfのデータフレームを呼び出した場合：DF2がどのように見えるだろうと

val df2 = df.withColumn("a1", when($"a1" == "N/A", $"a2)) 

：

+---+---+ 
| a1+ a2| 
+---+---+ 
|foo|bar| 
|baz|baz| 
+---+---+ 

ではなく、私が手に：私はから期待

+---+---+ 
| a1+ a2| 
+---+---+ 
|foo|bar| 
|N/A|baz| 
+---+---+ 

を

error: type mismatch; 
found : Boolean 
required: org.apache.spark.sql.Column 

DataFrameのwithColumnメソッド内で値を生成するColumnメソッドが必要なようです。

withColumnの置換パラメータに条件付きで現在の列の値を設定するなどの方法はありますか？

Answer 1

あなたは===代わりの==が必要になります。

val df2 = df.withColumn("a1", when($"a1" === "N/A", $"a2").otherwise($"a1")) 
// df2: org.apache.spark.sql.DataFrame = [a1: string, a2: string] 

df2.show 
+---+---+ 
| a1| a2| 
+---+---+ 
|foo|bar| 
|baz|baz| 
+---+---+ 

Answer 2

あなたは===ない==を使用する必要があります。

scala> val df = Seq(("foo", "bar"), ("N/A", "baz")).toDF("a1", "a2") 
df: org.apache.spark.sql.DataFrame = [a1: string, a2: string] 

scala> df.show 
+---+---+ 
| a1| a2| 
+---+---+ 
|foo|bar| 
|N/A|baz| 
+---+---+ 

scala> df.withColumn("a1", when($"a1" === "N/A", $"a2").otherwise($"a1")).show 
+---+---+ 
| a1| a2| 
+---+---+ 
|foo|bar| 
|baz|baz| 
+---+---+