0
classeseケースをマッピングするためのScalaの最良の方法私は火花やスカラ座での作業とこのようになりますデータセットを定義する場合クラス持っている:スパークと
case class Shareholders(
business_id : String,
guo_name : String,
guo_id : String,
duo_name : String,
duo_id : String
)
を「郭」で始まる、より多くのフィールドがあります。 /"デュオ"。この接頭辞とは別に、フィールド名は同じ/繰り返されます。
Iは、のように見える場合クラス構造体を形成したい:
タイプ=「郭」/「デュオ」等のような適切なcase class NewShareholders(
business_id : String,
repeatedFields : Seq[RepeatedShareholderFields]
)
case class RepeatedShareholderFields (
name : String,
id : String
type : String
)
を。
これはどのように行うのが最適でしょうか?
Spark 'Dataset'sをSQLリレーショナルテーブルであるかのように設計することを強くお勧めします。 Sparkが最適化されました。これまでのあなたの例から、私はあなたに良い解決策を思いつくことはできません。私が本当に言うことができる唯一のことは、あなたの「株主」テーブルを正常化する方法についてDBAに相談することです。 – Yawar