スパークSQLまたはコマンド返さない結果

Question

私はツェッペリンで次のコマンドを実行しようとしています。同様のコードをScalaでも実行しようとしていますが、うまくいきません。

df.where(df("duration").===(1) || df("duration").===(2)).limit(10) 

すべてのデータフレームを照会して結合するだけのものを書くことができますが、パフォーマンスが心配です。何か案は？

Answer 1

あなたはISIN機能を試すことができます：（。DF（ "期間"）ISIN（ "1"、 "2"））

df.whereリミット（10）

val df = Seq(30,1,2,3,4,5,6).toDF("duration") 


val df1 = df.where(df("duration").isin("1","2")) 
df1.show() 


-----------------+ 
|duration   | 
+-----------------+ 
|    1| 
|    2| 
+-----------------+