PySpark 1.6.2 |収集（）のOrderBy /並べ替え

Question

た後、私はこの単純なPySparkコードスニペットの振る舞いを理解していない：

# Create simple test dataframe 
l = [('Alice', 1),('Pierre', 3),('Jack', 5), ('Paul', 2)] 
df_test = sqlcontext.createDataFrame(l, ['name', 'age']) 

# Perform filter then Take 2 oldest 
df_test = df_test.sort('age', ascending=False)\ 
      .filter('age < 4') \ 
      .limit(2) 


df_test.show(2) 
# This outputs as expected : 
# +------+---+ 
# | name|age| 
# +------+---+ 
# |Pierre| 3| 
# | Paul| 2| 
# +------+---+ 

df_test.collect() 
# This outputs unexpectedly : 
# [Row(name=u'Pierre', age=3), Row(name=u'Alice', age=1)] 

これはコレクト（）関数の予想される動作ですか？正しい順序を維持するリストとして列を取得するにはどうすればよいですか？

おかげ

Answer 1

は、私はあなたが実際に走ったコードを投稿していなかったこの問題に

def sorter(l): 
    import operator 
    res = sorted(l, key =operator.itemgetter(0)) 
    L1=[item[1] for item in res] 
    #return " ".join(str(x) for x in L) 
    return "".join(L1) 

sort_udf = udf(sorter)