pyspark - データ型から配列型の値を取得

Question

私のデータフレームは以下の通りです。入力配列型の列から値を抽出する必要があります。私はpysparkでこれをどのように達成できるのか教えてください。

None 
root 
|-- input: array (nullable = true) 
| |-- element: map (containsNull = true) 
| | |-- key: string 
| | |-- value: map (valueContainsNull = true) 
| | | |-- key: string 
| | | |-- value: double (valueContainsNull = true) 
|-- A: array (nullable = true) 
| |-- element: map (containsNull = true) 
| | |-- key: string 
| | |-- value: map (valueContainsNull = true) 
| | | |-- key: string 
| | | |-- value: double (valueContainsNull = true) 
|-- B: array (nullable = true) 
| |-- element: map (containsNull = true) 
| | |-- key: string 
| | |-- value: map (valueContainsNull = true) 
| | | |-- key: string 
| | | |-- value: double (valueContainsNull = true) 
|-- C: array (nullable = true) 
| |-- element: map (containsNull = true) 
| | |-- key: string 
| | |-- value: map (valueContainsNull = true) 
| | | |-- key: string 
| | | |-- value: double (valueContainsNull = true) 
|-- D: array (nullable = true) 
| |-- element: map (containsNull = true) 
| | |-- key: string 
| | |-- value: map (valueContainsNull = true) 
| | | |-- key: string 
| | | |-- value: double (valueContainsNull = true) 
|-- E: array (nullable = true) 
| |-- element: map (containsNull = true) 
| | |-- key: string 
| | |-- value: map (valueContainsNull = true) 
| | | |-- key: string 
| | | |-- value: double (valueContainsNull = true) 
|-- timestamp: array (nullable = true) 
| |-- element: map (containsNull = true) 
| | |-- key: string 
| | |-- value: map (valueContainsNull = true) 
| | | |-- key: string 
| | | |-- value: double (valueContainsNull = true) 

Answer 1

from itertools import chain 
df.select('input').rdd.flatMap(lambda x: chain(*(x))).map(lambda x: x.values()).collect()