pyspark.ml.tuning.TrainValidationSplitでチューニングした後に最良のパラメータを得るには？

Question

私は、スパーク（PySpark）ALSモデルのハイパーパラメータをTrainValidationSplitで調整しようとしています。

正常に動作しますが、ハイパーパラメータのどの組み合わせが最適かを知りたいと思います。評価後に最良のパラメータを得るには？

from pyspark.ml.recommendation import ALS 
from pyspark.ml.tuning import TrainValidationSplit, ParamGridBuilder 
from pyspark.ml.evaluation import RegressionEvaluator 

df = sqlCtx.createDataFrame(
    [(0, 0, 4.0), (0, 1, 2.0), (1, 1, 3.0), (1, 2, 4.0), (2, 1, 1.0), (2, 2, 5.0)], 
    ["user", "item", "rating"], 
) 

df_test = sqlCtx.createDataFrame(
    [(0, 0), (0, 1), (1, 1), (1, 2), (2, 1), (2, 2)], 
    ["user", "item"], 
) 

als = ALS() 

param_grid = ParamGridBuilder().addGrid(
    als.rank, 
    [10, 15], 
).addGrid(
    als.maxIter, 
    [10, 15], 
).build() 

evaluator = RegressionEvaluator(
    metricName="rmse", 
    labelCol="rating", 
) 
tvs = TrainValidationSplit(
    estimator=als, 
    estimatorParamMaps=param_grid, 
    evaluator=evaluator, 
) 


model = tvs.fit(df) 

質問：最高のランクとmaxIterを取得するにはどうすればよいですか？

Answer 1

あなたはTrainValidationSplitModelのbestModelプロパティを使用して最適なモデルを入手することができます。

best_model = model.bestModel 

ランク直接ALSModelのrankプロパティを使用してアクセスすることができます。

最大反復数を取得

best_model.rank 

10 

少しばかげている：

​​

10