スパークRDDタプルフィールドは直列化可能である必要がありますか？ MahoutのDRMは何

Question

MahoutののDrmRdd型は

RDD[(K,Vector)] 

に変換

type DrmRdd[K] = RDD[DrmTuple[K]] 

として定義されていないと言っているようだが、Mahoutのドキュメントは明確Vectorクラスが直列化可能ではないと述べています。

これは、Vectorがシリアル化できないという事実を乗り越えることなくMahout DrmにラップするためのRDD [（K、Vector）]を生成する方法を頭を悩ませることです。

私の質問は、スパークRDDタプルはいつシリアライズ可能である必要がありますか？または、シャッフルを通過する必要がある特定の関数に対しては、シリアライズ可能である必要がありますか？

Answer 1

まあ、技術的にシリアライズしたり、直列化可能でないデータとRDDを持つことができ、同様のプロセスとはシャッフル、キャッシュはありません（シリアル化する理由はない場合たとえば、あなたは、このようなデータを持っている場合：。

を Fooが直列化ではありません

class Foo(x: Int) 

val rdd = sc.parallelize(1 to 4, 4).map(i => (i, new Foo(i))) 

あなたが数えることができます。

rdd.count 
// 4 

しかし、あなたがすることができませんdistinct.countを：

rdd.distinct.count 
// java.io.NotSerializableException: $line30.$read$$iwC$$iwC$Foo 
// Serialization stack: 
// - object not serializable (class: $line30.$read$$iwC$$iwC$Foo, value: ... 
// - field (class: scala.Tuple2, name: _2, type: class java.lang.Object) 
// - object (class scala.Tuple2, (1,$line30.$read$$iwC$$iwC$Foo@70accf6)) 
// at ... 

したがって、直列化不可能なオブジェクトは、単一のタスクに限られた一時的な記憶域に対してのみ有効です。

しかし、これはMahoutベクトルでは当てはまりません。 Mahoutスパークバインディング実際Kryo registration toolsを提供し、Vectoris actually registered there：

kryo.addDefaultSerializer(classOf[Vector], new VectorKryoSerializer()) 

をして提供。また、あなたもうまく動作します上記のorg.apache.spark.serializer.KryoSerializerdistinct.count例にspark.serializerを設定するとKryoはとても大きく、より寛容することができますので、ご注意ください

specialized serializerFooはJavaシリアル化を使用してシリアライズできません。