Registring Kryoクラスは、私は次のコードを持っている

Question

が動作していませんか？

Answer 1

あなたはScalaとJavaを混在させています。スカラ座では、あなたが（代わりにClass<?>[]の）Array[Class[_]]を定義することができます。

val conf = new SparkConf() 
      .setAppName("MyApp") 
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") 
      .registerKryoClasses(Array[Class[_]](
       Class.forName("org.apache.hadoop.io.LongWritable"), 
       Class.forName("org.apache.hadoop.io.Text") 
      )); 

val sc = new SparkContext(conf) 

は、私たちも少し良く行うことができます。間違った文字列リテラルを使用して、私たちのクラスを取得しないようにするために、我々は実際にクラスを利用し、そのクラス型を取得するためにclassOfを使用することができます。

import org.apache.hadoop.io.LongWritable 
import org.apache.hadoop.io.Text 

val conf = new SparkConf() 
      .setAppName("MyApp") 
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") 
      .registerKryoClasses(Array[Class[_]](
       classOf[LongWritable], 
       classOf[Test], 
      )) 

val sc = new SparkContext(conf)