spark kryo serialization registerデータ型[]

Question

sparkが強制的にkryoシリアル化を使用するには、次のオプションをspark.kryo.registrationRequiredに設定できます。

org.apache.spark.sql.types.DataType[]の登録方法を教えてください。

Class is not registered: org.apache.spark.sql.types.DataType[] 

例外をスローします。しかし、classOf[org.apache.spark.sql.types.DataType[]]のように登録しようとすると、コンパイルされません

Answer 1

私は、Javaとscala配列の表記法と混同していました。

classOf[Array[org.apache.spark.sql.types.DataType]] 

が正しい登録です。

それにもかかわらず、これはすでにスパークによって登録されているはずのスパーク内部クラスです。