Pyspark OLDデータフレームパーティションから新しいデータフレームへ

Question

私はパーティション化されたデータフレームdf1を持っています。 df1から私はdf2とdf3を作成します。

df1 = df1.withColumn("key", concat("col1", "col2", "col3")) 
df1 =df1.repartition(400, "key")  

df2 = df.groupBy("col1", "col2").agg(sum(colx)) 
df3 = df1.join(df2, ["col1", "col2"]) 

df3はdf1の同じパーティションを保持しますか？または私はdf3を再度パーティション分割する必要がありますか？

Answer 1

df3の分割は、df1と比べて全く異なります。そして、（おそらく）df2には、spark.sql.shuffle.partitions（デフォルト：200）のパーティション数（400ではなく）があります。