Spark Kryo：カスタムシリアライザを登録する

Question

私は、read()とwrite()のメソッドをcom.esotericsoftware.kryo.Serializer（以下の例を参照）から実装することで、カスタムKryoシリアライザを実装するクラスを持っています。 このカスタムシリアライザはどのようにSparkに登録できますか？ここで

は、私が持っているもののsudoのコードの例です：

スパークで今

class A() 

CustomASerializer extends com.esotericsoftware.kryo.Serializer[A]{ 
    override def write(kryo: Kryo, output: Output, a: A): Unit = ??? 
    override def read(kryo: Kryo, input: Input, t: Class[A]): A = ??? 
} 

val kryo: Kryo = ... 
kryo.register(classOf[A], new CustomASerializer()); // I can register my serializer 

：

val sparkConf = new SparkConf() 
sparkConf.registerKryoClasses(Array(classOf[A])) 

残念ながら、スパークは私に私のカスタム・シリアライザを登録するためのオプションを与えるものではありません。これを行う方法があれば、どんな考えですか？

Answer 1

登録このカスタム・シリアライザとKryoRegistrator独自に作成します。例えば、次に

package com.acme 

class MyRegistrator extends KryoRegistrator { 
    override def registerClasses(kryo: Kryo) { 
    kryo.register(classOf[A], new CustomASerializer()) 
    } 
} 

あなたのレジの完全修飾名にspark.kryo.registratorを設定com.acme.MyRegistrator：

val conf = new SparkConf() 
conf.set("spark.kryo.registrator", "com.acme.KryoRegistrator")