配列の配列でカラムを爆発 - PySpark

Question

私はこのようなデータの列を持っている：

[[[-77.1082606, 38.935738]] ,Point] 

私はそれが似て分割したい：

使用している可能性がありどのように

column 1   column 2  column 3 
-77.1082606  38.935738   Point 

PySpark、あるいはScala（Databricks 3.0）？私は列を分解する方法を知っていますが、これらの構造体を分割することはありません。ありがとう!!!

編集：ここでは、列のスキーマです：

|-- geometry: struct (nullable = true) 
| |-- coordinates: string (nullable = false) 
| |-- type: string (nullable = false 

Answer 1

あなたが別々の列にカンマで結果の文字列を角括弧を取り除くためにregexp_replace()を使用して、split()ことができます。

from pyspark.sql.functions import regexp_replace, split, col 

df.select(regexp_replace(df.geometry.coordinates, "[\[\]]", "").alias("coordinates"), 
      df.geometry.type.alias("col3")) \ 
    .withColumn("arr", split(col("coordinates"), "\\,")) \ 
    .select(col("arr")[0].alias("col1"), 
      col("arr")[1].alias("col2"), 
     "col3") \ 
    .drop("arr") \ 
    .show(truncate = False) 
+-----------+----------+-----+ 
|col1  |col2  |col3 | 
+-----------+----------+-----+ 
|-77.1082606| 38.935738|Point| 
+-----------+----------+-----+