私はフィルタを行い、同じデータフレーム内の別の列に結果を格納するために、pysparkデータフレームcol ...をカウントしますか？

Question

以下の行の結果を同じdfデータフレームのcolに格納します。

df.filter(F.abs(df.Px)< 0.005).count()

私はそれをどのように行うことができますか？

Answer 1

答えはunionを使用して行うことができます。ただし、複数の列を持つことができ、新しいカウント値を持つ行が1つだけ追加されるため、特定の列の下に行を追加するのは良い方法ではありません。

私は以下のスニペットを提供します。

from pyspark.sql import Row 

df = spark.createDataFrame(pd.DataFrame([0.01, 0.003, 0.004, 0.005, 0.02], 
             columns=['Px'])) 
n_px = df.filter(func.abs(df['Px']) < 0.005).count() # count 
df_count = spark.sparkContext.parallelize([Row(**{'Px': n_px})]).toDF() # new dataframe for count 
df_union = df.union(df_count) 

+-----+ 
| Px| 
+-----+ 
| 0.01| 
|0.003| 
|0.004| 
|0.005| 
| 0.02| 
| 2.0| 
+-----+