既存の行に基づいてScala-Sparkデータフレームに新しい行を追加する

Question

私は以下のようにJsonのデータフレームにデータを持っています。

{"nm": 1233, "date": "2017-01-23", "name": [],"id": "9253194"} 
{"nm": 1234, "date": "2017-01-23", "name": [],"id": "9253196"} 
{"nm": 1235, "date": "2017-01-23", "name": [],"id": "9253195"} 

スカラーの弾性検索に挿入するインデックス付き列を持つ新しい行を追加する方法。

{"create": {"_type": "usd", "_id": "92531964", "_index": "amount"}} 
{"nm": 1233, "date": "2017-01-23", "name": [],"id": "9253194"} 
{"create": {"_type": "usd", "_id": "92531966", "_index": "amount"}} 
{"nm": 1234, "date": "2017-01-23", "name": [],"id": "9253196"} 
{"create": {"_type": "usd", "_id": "92531965", "_index": "amount"}} 
{"nm": 1235, "date": "2017-01-23", "name": [],"id": "9253195"} 

ここ_id私は既存の列と_typeから派生していますが、_indexは定数です。

Answer 1

使用flatMap：

input.flatMap { x => Seq(x, transform(x)) } 

これらのレコードは、異なるスキーマを持っているので、あなただけの文字列として出力し、それらを持っているかもしれません。