列の値ごとに別々のモデルを訓練する方法は？

Question

スパークデータフレーム内の特定の列を無視して列車の異なる回帰モデルをどのように実行しますか？

1つのSpark DFで、機能とラベルが付いた2つの製品があるとします。 製品のIDは、seprateカラムにあります。
それぞれの製品について回帰分析を実行したいと思います。

これまでrelaviely簡単な分析のために、私が使用している

w = Window().partitionBy("id") 
F.sum(column).over(w) 

例えばデータ

sdf = spark.createDataFrame(
     [("a", 1.0, 2.0, 3.0), ("a", 4.0, 1.0, 5.0), ("b", 2.0, 1.0, 0.0), ("b", 4.0, 0.0, 1.0)], 
     ["id", "y", "x1", "x2"]) 

id "a"と "b"の別のモデルを実行したいと思います。

Answer 1

あなたはgroupBy、collect_listまたはcollect_setができ、コレクションごとにモデルのトレーニングを行うが、それはスパークMLlibに箱から出して利用できないとカスタム開発を必要とする、すなわちユーザ定義の集合関数（UDAF）を書き込みます。

filterを使用して条件に基づいてDataFrameを分割し、2つ以上のDataFramesを別々に使用することをおすすめします。