スパースデータを含むPythonRDDを密なPythonRDDに変換する方法

Question

StandardScalerを使用してデータを拡大したいと思います。私はPythonRDDにデータをロードしました。データがまれであるようです。 StandardScalerを適用するには、まず密な型に変換する必要があります。

trainData = MLUtils.loadLibSVMFile(sc, trainDataPath) 
valData = MLUtils.loadLibSVMFile(sc, valDataPath) 
trainLabel = trainData.map(lambda x: x.label) 
trainFeatures = trainData.map(lambda x: x.features) 
valLabel = valData.map(lambda x: x.label) 
valFeatures = valData.map(lambda x: x.features) 
scaler = StandardScaler(withMean=True, withStd=True).fit(trainFeatures) 

# apply the scaler into the data. Here, trainFeatures is a sparse PythonRDD, we first convert it into dense tpye 
trainFeatures_scaled = scaler.transform(trainFeatures) 
valFeatures_scaled = scaler.transform(valFeatures)  

# merge `trainLabel` and `traiFeatures_scaled` into a new PythonRDD 
trainData1 = ... 
valData1 = ... 

# using the scaled data, i.e., trainData1 and valData1 to train a model 
... 

上記のコードには誤りがあります。 StandardScalerの入力としてすることができ、緻密tpyeにスパースPythonRDD trainFeaturesを変換する方法

1. ：私は2つの質問がありますか？
2. trainLabelとtrainFeatures_scaledを分類器（ランダムフォレストなど）のトレーニングに使用できる新しいLabeledPointにマージするにはどうすればよいですか？

これについての文書または参考文献はまだあります。

dense = valFeatures.map(lambda v: DenseVector(v.toArray())) 

ジップマージするには：：toArrayを使用して密なマップに変換するには

Answer 1

密にデータを変換する機能の数に応じて

valLabel.zip(dense).map(lambda (l, f): LabeledPoint(l, f))