フィルタースパーク/ Scalaのデータフレームの列は、私はスパーク1.4.0を使用していますセット

Question

に存在する場合、これは私がこれまで持っているものです。

data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...)) 

機能litが列リテラルに変換します。

理想的には私はセットでの私のA、B、Cを入れて、次のようにチェックします：

val validValues = Set("A", "B", "C", ...) 
data.filter($"myColumn".in(validValues)) 

正しい構文は何ですか？代替の簡潔なソリューションはありますか？

Answer 1

スパーク1.4またはそれ以上の年齢：

val validValues = Set("A", "B", "C").map(lit(_)) 
data.filter($"myColumn".in(validValues.toSeq: _*)) 

スパーク1.5以降：

val validValues = Set("A", "B", "C") 
data.filter($"myColumn".isin(validValues.toSeq: _*))