RDD [org.apache.spark.sql.Row]からRDD [org.apache.spark.mllib.linalg.Vector]への変換

Question

私はSparkとScalaが比較的新しいです。

Iは、次のデータフレーム（ダブルスの密ベクトルから作られた単一の列）で始まる午前：RDDへ

scala> val scaledDataOnly_pruned = scaledDataOnly.select("features") 
scaledDataOnly_pruned: org.apache.spark.sql.DataFrame = [features: vector] 

scala> scaledDataOnly_pruned.show(5) 
+--------------------+ 
|   features| 
+--------------------+ 
|[-0.0948337274182...| 
|[-0.0948337274182...| 
|[-0.0948337274182...| 
|[-0.0948337274182...| 
|[-0.0948337274182...| 
+--------------------+ 

直変換する[org.apache.spark.rdd.RDDのインスタンスを生成org.apache.spark.sql.Row]：

scala> val scaledDataOnly_rdd = scaledDataOnly_pruned.rdd 
scaledDataOnly_rdd: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[32] at rdd at <console>:66 

誰もがorg.apache.spark.rdd.RDD [org.apache.spark.mllib.linalgのインスタンスに、このDFを変換する方法を知っています。ベクトル]代わりに？私のいろいろな試みはこれまでに失敗しています。

ありがとうございました！

Answer 1

ちょうど見つけた：

val scaledDataOnly_rdd = scaledDataOnly_pruned.map{x:Row => x.getAs[Vector](0)} 

Answer 2

EDIT：行のフィールドを解釈するために、より洗練された方法を使用します。

これは私

val featureVectors = features.map(row => { 
    Vectors.dense(row.toSeq.toArray.map({ 
    case s: String => s.toDouble 
    case l: Long => l.toDouble 
    case _ => 0.0 
    })) 
}) 

の機能のために働いているが、スパークSQLのデータフレームです。

Answer 3

import org.apache.spark.mllib.linalg.Vectors 

scaledDataOnly 
    .rdd 
    .map{ 
     row => Vectors.dense(row.getAs[Seq[Double]]("features").toArray) 
    }