スカラコレクションのデータセットエンコーダ

Question

s3からデータセットを読み取ろうとしているときに例外が発生します。会社のケースクラスには、従業員ケースクラスが設定されています。

Exception in thread "main" java.lang.UnsupportedOperationException: No Encoder found for Set[com.model.company.common.Employee] 
- field (class: "scala.collection.immutable.Set", name: "employees") 
- field (class: "com.model.company.Company", name: "company") 

私はkryoで試してみました：

implicit def myDataEncoder[T]: Encoder[Set[Employee]] = Encoders.kryo[scala.collection.immutable.Set[Employee] 

が、それはまた、動作しません。 スカラコレクションをデータセットに変換する方法をご存知ですか？

コード：リストから

val sqlContext = sparkSession.sqlContext 
import sqlContext.implicits._ 

val records = sparkSession.read.json(s"s3a://${config.input.fullPath}").as[Company] 

Answer 1

変更、設定 - >配列

データセットのデータの詳細については、あなたがここで見つけることができます入力します。 https://spark.apache.org/docs/latest/sql-programming-guide.html#data-types