スパークデータフレームで構造体を平坦化する方法は？

Question

私は、次のような構造を持つデータフレームを持っている：

構造を平らにして、新しいデータフレームを作成することが可能である方法

|-- data: struct (nullable = true) 
| |-- id: long (nullable = true) 
| |-- keyNote: struct (nullable = true) 
| | |-- key: string (nullable = true) 
| | |-- note: string (nullable = true) 
| |-- details: map (nullable = true) 
| | |-- key: string 
| | |-- value: string (valueContainsNull = true) 

：

 |-- id: long (nullable = true) 
    |-- keyNote: struct (nullable = true) 
    | |-- key: string (nullable = true) 
    | |-- note: string (nullable = true) 
    |-- details: map (nullable = true) 
    | |-- key: string 
    | |-- value: string (valueContainsNull = true) 

は爆発するが、構造体のためのようなものはありますか？

Answer 1

これは、Spark 1.6以降で動作するはずです：

df.select(df.col("data.*")) 

または

df.select(df.col("data.id"), df.col("data.keyNote"), df.col("data.details")) 

Answer 2

簡単な方法は、SQLを使用することです、あなたはのようなフラットなものネストされた列の別名するSQLクエリ文字列を構築することができ。

1. 取得データフレームスキーマ（df.schema（））
2. はSQL （用（フィールドにスキーマを変換：スキーマ（）フィールド（））...
3. クエリ「ヴァルnewDF Javaで= sqlContext.sql（ "ソースからの" + sqlGenerated + "SELECT"）

例：

https://gist.github.com/ebuildy/3de0e2855498e5358e4eed1a4f72ea48

（私はSQLの方が好きなので、Spark-shellで簡単にテストすることができますし、クロスランゲージです）。