spark scalaに入れ子になったJSONを書く

Question

My Spark-SQLは、1つ以上の基数を持つ2つのテーブルを結合してクエリの出力を生成しています。私はJSONにデータを変換する必要があります。 これは、クエリの出力の様子です。

Address_id_parent | Address_id_child | Country_child | city_child 
1     |  1   |  India  | Delhi 
1     |  1   |  US  | NewYork 
1     |  1   |  US  | NewJersey 

上記のデータは、このようにJSONに変換する必要があります。

{ 
    "Address": { 
     "Address_id_parent": "1" 
    }, 
    "Address-details": [{ 
     "Address_id_child": "1", 
     "location": [{ 
       "country":"India", 
       "city":"Delhi", 
       }, 
       { 
       "country":"US", 
       "city":"NewYork", 
       }, 
       { 
       "country":"US", 
       "city":"NewJersey", 
       } 
       ] 
    }] 
} 

どのようにすればいいですか？ JSONと

Answer 1

チェックデータフレームの書き込みインタフェース：

df.write.format("json").save(path)