Sparkで相関行列にヘッダーを追加

Question

データをロードするときにapache sparkを使用してcsvファイルに相関を適用しています。データセットの列であるヘッダーとして最初の行をスキップする必要があります。 。

相関が計算されますが、相関行列を取得したときに、列名を新しい行列のヘッダーとして追加できません。ヘッダーでマトリックスを取得するには？スパークで

import org.apache.spark.mllib.linalg.{ Vector, Vectors } 
import org.apache.spark.mllib.stat.Statistics 
import org.apache.spark.mllib.linalg.Matrix 
import org.apache.spark.rdd.RDD 

val data = sc.textFile(strfilePath).mapPartitionsWithIndex { 
    case (index, iterator) => if (index == 0) iterator.drop(1) else iterator 
} 

val inputMatrix = data.map { line => 
    val values = line.split(",").map(_.toDouble) 
    Vectors.dense(values) 
} 

val correlationMatrix = Statistics.corr(inputMatrix, "pearson") 

Answer 1

を2.0+コマンドを使用してデータフレームにcsvファイルを読み込むことができます：

val df = spark.read.option("header", "true").option("inferSchema", "true").csv("filePath") 

異なる列間の相関関係は、その後

で計算することができ、私が試してみました何これ

df.stat.corr("col1", "col2", "pearson")