RDD [Double]をScalaのVectorに変換する方法Spark

Question

私はIndexedRowMatrixをdoubleにしました。私は、行列の各行の合計を計算し、結果をVectorに保存したいと思います。その後、私はこのベクターを放送したい。 私は合計を含むDoublesのRDDを作成していますが、ベクトルに変換することはできません。 それでは、基本的に質問は、IndexedRowMatrixから必要なベクトルを作成する方法です。

Answer 1

はドライバーに収集し、ベクターを構築：

import org.apache.spark.mllib.linalg.{Vector, Vectors} 

val sc: SparkContext = ??? 
val rdd: RDD[Double] = ??? 
val vec: Vector = Vectors.dense(rdd.collect) 
val broadcastVec = sc.broadcast(vec) 

参考文献：

https://spark.apache.org/docs/2.1.0/mllib-data-types.html#local-vector https://spark.apache.org/docs/latest/programming-guide.html#broadcast-variables