sparkを使用してCSVファイルから降順を取得し、整数に丸めたいとします。zhvi
平均を降順で並べる方法は?
しかし、コードの最後にsort(desc("Zhvi"))
を試してみます。それは常に私にエラーを与える。
from pyspark.sql.functions import col, desc
stateByZhvi = home.select('State','Zhvi').groupBy((col("State"))).avg("Zhvi").show()
と私の結果の一部:
+-----+------------------+
|State| avg(Zhvi)|
+-----+------------------+
| AZ|246687.01298701297|
| SC|143188.94736842104|
| LA|159991.74311926606|
| MN|236449.40239043825|
| NJ| 367156.5637065637|
| DC| 586109.5238095238|
| OR| 306646.3768115942|
| VA| 282764.4986449864|
いずれかがで助けることができますか?別の問題があるかもしれません
home.createOrReplaceTempView("home")
spark.sql("select State, round(avg(Zhvi)) as avg_Zhvi from home group by State order by 2 desc").show()
グループ化された平均データをソート(desc( "Zhvi"))します。 ? – Suresh