複雑なJsonスキーマをカスタムスパークデータフレームに変換する

これでAPI呼び出しから大きなJson文字列が得られました。その文字列の一部をCassandraに保存します。私はJsonの文字列を構造体のようなテーブルに解析しようとしていますが、いくつかのフィールドしかありません。全体的なスキーマは次のようになります。複雑なJsonスキーマをカスタムスパークデータフレームに変換する

そして私はレグナム、日付や値フィールドを使用して、私のテーブル構造をしたいです。

をしかし、あなたが見ることができるように、日付と値のフィールドは配列です：はsqlContext.read.json(vals).select(explode('register) as 'reg).select("[email protected]","reg.data.date","reg.data.value").showで、私はこのようにテーブルを取得することができます。レコードごとに1つの要素があり、レコードごとに対応するregnumを複製したいと考えています。どんな助力も非常に感謝しています。

出典

2017-11-09 third_eye

DataFrameをDatasetにキャストし、次にflatMapにキャストすることができます。

df.select("[email protected]","reg.data.date","reg.data.value") 
    .as[(Long, Array[String], Array[String])] 
    .flatMap(s => s._2.zip(s._3).map(p => (s._1, p._1, p._2)))

出典

2017-11-10 04:38:13 nabongs

驚くばかりの男は、魅力的な作品です。私は本当にスカラのスキルを磨く必要があります。ありがとう。 –

私はちょうど別のバンプに遭遇しました。 [（Long、Array [String]、Array [String]）]および[（Long、String、String）]]であるレコードがあるとどうなりますか？ケースマッピングを作成するにはどうしたらいいですか？再度、感謝します！ –

同じ列にありますか？ – nabongs

複雑なJsonスキーマをカスタムスパークデータフレームに変換する

答えて

関連する問題