フィルタスパークDATAFRAME、簡略化した例のような他の基準

Question

と、私は次のコードでスパークデータフレームをフィルタリングすることを試みた：

val xdf = sqlContext.createDataFrame(Seq(
    ("A", 1), ("B", 2), ("C", 3) 
)).toDF("name", "cnt") 
xdf.filter($"cnt" >1 || $"name" isin ("A","B")).show() 

次に、エラー：

org.apache.spark.sql.AnalysisException: cannot resolve '((cnt > 1) || name)' due to data type mismatch: differing types in '((cnt > 1) || name)' (boolean and string).; 

正しい方法は何ですか？それはname列の後で読むのを止めるようです。パーサのバグですか？私はあなたが、個々の表現を括弧する必要が1.5.1

Answer 1

火花を使用しています：

xdf.filter(($"cnt" > 1) || ($"name" isin ("A","B"))).show() 

Answer 2

これはあなたを助けることを望ん：

val list = List("x","y","t") 
xdf.filter($"column".isin(list:_*))