SPARK SQL：CASE文内にAND条件を実装します。

Question

私は、Scalaを使用してSPARK SQLに簡単なCASE-WHEN-THEN句を実装する方法を知っています。私はバージョン1.6.2を使用しています。しかし、CASE-WHEN節の中の複数の列に対してAND条件を指定する必要があります。 Scalaを使ってSPARKでこれを達成する方法は？

お時間をいただきありがとうございます。データフレームとして

select sd.standardizationId, 
    case when sd.numberOfShares = 0 and 
      isnull(sd.derivatives,0) = 0 and 
      sd.holdingTypeId not in (3,10) 
     then 
      8 
     else 
      holdingTypeId 
     end 
    as holdingTypeId 
from sd; 

Answer 1

代替オプション、完全な文字列式を使用して避けたかっただ場合は、次のとおりである。

import org.apache.spark.sql.Column 
import org.apache.spark.sql.functions._ 

val sd = sqlContext.table("sd") 

val conditionedColumn: Column = when(
    (sd("numberOfShares") === 0) and 
    (coalesce(sd("derivatives"), lit(0)) === 0) and 
    (!sd("holdingTypeId").isin(Seq(3,10): _*)), 8 
).otherwise(sd("holdingTypeId")).as("holdingTypeId") 

val result = sd.select(sd("standardizationId"), conditionedColumn) 

Answer 2

最初の読み出しテーブル

val table = sqlContext.table("sd") 

が続いて表現して選択します。

は、ここで私が持っているSQLクエリです。あなたのデータベースに従って構文を整列させます。

val result = table.selectExpr("standardizationId","case when numberOfShares = 0 and isnull(derivatives,0) = 0 and holdingTypeId not in (3,10) then 8 else holdingTypeId end as holdingTypeId") 

そしてショーの結果

result.show