後でScalaで使用するためにSpark StandardScalerを保存します

Question

私はまだSpark 1.6を使用しており、今後のデータセットで保存して再利用したいStandardScalarを訓練しています。

the supplied examplesを使用するとデータを正常に変換できましたが、訓練された正規化器を保存する方法が見つかりませんでした。

訓練された正規化器を保存する方法はありますか？

Answer 1

あなたがscalerModelを作成したと仮定すると：それはモデルではないだからだ

import org.apache.spark.ml.feature.StandardScalerModel 

scalerModel.write.save("path/folder/") 

val scalerModel = StandardScalerModel.load("path/folder/") 

Answer 2

標準スケーラモデルクラスは、保存メソッドを持っています。 API Docs

例えば：StandardScalerにフィットメソッドを呼び出した後、返されたオブジェクトは、StandardScalerModelです

import org.apache.spark.ml.feature.StandardScaler 
import org.apache.spark.ml.PipelineModel 

val dataFrame = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt") 

val scaler = new StandardScaler() 
    .setInputCol("features") 
    .setOutputCol("scaledFeatures") 
    .setWithStd(true) 
    .setWithMean(false) 

// Compute summary statistics by fitting the StandardScaler. 
val scalerModel = scaler.fit(dataFrame) 
scalerModel.write.overwrite().save("/path/to/the/file") 

val sameModel = PipelineModel.load("/path/to/the/file")