Spark（Java） - 単一の平均を新しい列として追加する

Question

2つのデータフレーム、df1とdf2があります。新しい列を2番目の列に追加したいと思います。この新しい列は、最初のデータフレームからの列の平均である必要があります。このような何か：

df1     df2     df2 
userid count value userid count   userid count value 
11  2  5  10  1    10  1  5 
22  3  4  20  1  ======> 20  1  5 
33  5  6  30  1    30  1  5 

私が働いていない

df2 = df2.withColumn("value", avg(df1.col("value"))); 

をしようとしています。これどうやってするの？ ありがとうございました！

Answer 1

それはDateFrameに関連する列を持つ必要があります）Append a column to Data Frame in Apache Spark 1.3

withColum（に似ていますので、あなたは、変換することができます：

• calの平均値を

• 新しい列を追加します元の値を0に設定してから平均値を加算します。

  import org.apache.spark.sql.functions._ 
  val avgValue = df1.select(avg(df1("value"))).collect()(0).getDouble(0) 
  df2 = df2.withColumn("value", rand() * 0 + avgValue)