リストのPySparkの最小値

Question

セルに格納されているリストの最小値を見つけるにはどうすればよいですか？ 私はudfを行うことができますが、それは過度のように感じます。 関数はpyspark.sql.functionsからのみ動作します（つまり、groupByの結果）。ただ、ソート

min_ = udf(lambda inarr: __builtins__.min(inarr), IntegerType()) 

Answer 1

、あなたはまだ、たとえば、__builtins__接頭辞とそれにアクセスすることができます。

df.sort(col, ascending=True) 

Answer 2

をしてから最初の値/行を取る：あなたはpyspark.sql.functionsとPythonのminが覆われているインポートした場合

min_ = udf(lambda inarr: min(inarr), IntegerType()) 
myDataFrameWithMin = myDataFrame.withColumn('min_value', min_(F.col('position_list')))