データフレームからカラムを削除する方法

Question

問題文 私はデータフレームを作成しているemployeeというテーブルがあります。レコードがないカラムがあります私はデータフレームからその列を削除したい。また、データフレームの何列にレコードがないかわからない。

Answer 1

dataFrame AFAIKから列を削除することはできません！

あなたができることは、古いdataFrameから別のデータフレームを作成し、実際にしたい列名を抽出することです！

例： 、このようなoldDFSchema（ID、名前、badColumn、電子メール）

val newDf=oldDF.select("id","name","email") 

か、使用できるもう一つがされている。 .drop（）関数データフレームのカラム名を取り出して削除し、新しいデータフレームを返します。

あなたはここでそれについて見つけることができます：https://spark.apache.org/docs/2.0.0/api/scala/index.html#org.apache.spark.sql.Dataset@drop(col:org.apache.spark.sql.Column):org.apache.spark.sql.DataFrame

を私はこれはあなたのユースケースを解決する可能性があります願っています！