定数列をcsvファイルにドロップする

Question

データフレーム内の定数である列を削除したいのですが、ここでは何をしましたか？データフレームをCSVファイルに書き込むときに特別な作業が必要です、コードを最適化して時間を短縮する助けをお願いします。

val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate() 
val df = spark.read.option("inferSchema", "true").option("header", "false").csv("D:\\ProcessDataSet\\anis_data\\Set _1Mud Pumps_Merged.csv") 
val aggregations = df.drop("DateTime").columns.map(c => stddev("c").as(c)) 
val df2 = df.agg(aggregations.head, aggregations.tail: _*) 
val columnsToKeep: Seq[String] = (df2.first match { 
    case r : Row => r.toSeq.toArray.map(_.asInstanceOf[Double]) 
}).zip(df.columns) 
    .filter(_._1 != 0) // your special condition is in the filter 
    .map(_._2) // keep just the name of the column 
// select columns with stddev != 0 
val finalResult = df.select(columnsToKeep.head, columnsToKeep.tail : _*) 
finalResult.write.option("header",true).csv("D:\\ProcessDataSet\\dataWithoutConstant\\Set _1Mud Pumps_MergedCleaned.csv") 

} 

Answer 1

最適化の余地はあまりないと思います。あなたは正しいことをしています。

多分あなたが試みることができるのはcache()あなたのデータフレームdfです。

dfは、別々の2つのスパークアクションで使用されるため、2回読み込まれます。

試してみてください。

... 
val df = spark.read.option("inferSchema", "true").option("header", "false").csv("D:\\ProcessDataSet\\anis_data\\Set _1Mud Pumps_Merged.csv") 
df.cache() 
val aggregations = df.drop("DateTime").columns.map(c => stddev("c").as(c)) 
...