SPARK Dataframeの列をスケール（正規化）する - Pyspark

Question

私は、Pythonを使用してSPARK DataFrameの列を正規化しようとしています。

マイセット：このデータセットで

-------------------------- 
userID|Name|Revenue|No.of.Days| 
-------------------------- 
1  A  12560 45 
2  B  2312890 90 
.  .  .  . 
.  .  .  . 
.  .  .  . 
-------------------------- 

は、ユーザーIDと名前を除いて、私は収入とは、No.of日数を正規化する必要があります。

出力は計算したり、各列の値を正規化することは、私はPySparkを使用しての簡単な手順でこれを行うことができますどのように

val = (ei-min)/(max-min) 
ei = column value at i th position 
min = min value in that column 
max = max value in that column 

であるために使用されるこの

---

userID|Name|Revenue|No.of.Days| 
-------------------------- 
1  A  0.5  0.5 
2  B  0.9  1 
.  .  1  0.4 
.  .  0.6  . 
.  .  .  . 
-------------------------- 

式のようになります。 ？このよう

Answer 1

：あなたはスケーリングされた列ごと

scaler = MinMaxScaler(inputCol="Revenue", outputCol="scaledRevenue") 
scalerModel = scaler.fit(dataFrame) 
scaledData = scalerModel.transform(dataFrame) 

繰り返します。

Answer 2

あなたは、単にこれは、列norm_valを持つ新しいデータフレームを返します.withColumn()

df.withColumn('norm_val', (df.val-min)/(max-min)) 

を使用することができます。 withColumnの文書hereを参照してください。