Scalaの

Question

でスパークデータフレーム内のデータをフィルタリング私はデータの下に含まれているデータフレームDF、持っている：

**customers** **product** **Val_id** 
    1    A   1 
    2    B   X 
    3    C    
    4    D   Z 

を、私は成功し、列val_idが

df.where(col("val_id").isin("")) 

空白になってデータ用にフィルタリングしている。しかし私はカラムval_idが空白でないデータをフィルタリングする方法を見つけられない場合、私は以下のように試してみましたが、私にとってはうまくいかなかった：

df.where(col("val_id").isnotin("")) 

誰でもSpark Scalaを使って達成するのを手伝ってもらえますか？カラムの型がStringある場合

Answer 1

あなたは所望の出力を得るためにフィルタを使用することができます。

df.filter("rule_id != ''") 

Answer 2

：あなたはまた、ブランクを一致させるため===を使用することができ、逆に

df.where(col("Val_id") !== "").show 

：

df.where(trim(col("val_id")) != "") 

Answer 3

がVal_idがString型であると仮定すると、あなたはこの不等式演算子!==を使用することができます。