スパークスカラーはヌル値のみを含む列を削除します

Question

ヌル値のみを含むスパークデータフレームの列を削除する方法はありますか？ （私はスカラ座を使用していますが、1.6.2をスパーク）

私は、このやっている瞬間：少なくとも2つの別個の値を含む列のリストを作成し、その後にそれを使用する

var validCols: List[String] = List() 
for (col <- df_filtered.columns){ 
    val count = df_filtered 
    .select(col) 
    .distinct 
    .count 
    println(col, count) 
    if (count >= 2){ 
    validCols ++= List(col) 
    } 
} 

をselect（）。

ありがとうございました！

Answer 1

私は同じ問題を抱えていました。私はJavaで同様のソリューションを考え出しました。私の意見では、現時点でそれを行う他の方法はありません。

正確に1つの異なる値と最初の値がnullのすべての列を削除します。このようにして、すべての値が同じであるがnullではない列を削除しないことを確認できます。