クロスランゲージ（pythonとscala）の疎のデータ/ deser？

Question

私は、Python側で疎なデータを表現/構築し、そのデータをストレージに出力してからspark/scalaアプリケーションにロードする必要があるアプリケーションに取り組んでいます。

シリアライズ/デシリアライズに使用するフォーマット/ライブラリについてのご意見はありますか？

Answer 1

まあ、mllib.Vectorsはすでに意味のある文字列表現とfromString方法を提供：

from pyspark.mllib.linalg import Vectors, SparseVector 

v = SparseVector(5, [0, 3], [1.0, -1.0]) 
str(v) 

## '(5,[0,3],[1.0,-1.0])' 

assert Vectors.parse(str(v)) == v 

import org.apache.spark.mllib.linalg.{Vectors, Vector} 

Vectors.parse("(5,[0,3],[1.0,-1.0])") 
// org.apache.spark.mllib.linalg.Vector = (5,[0,3],[1.0,-1.0]) 

あなたはプレーンテキストを避けたい場合は、寄木細工がそのまま使用可能別のオプションです：

(sc.parallelize([(SparseVector(5, [0, 3], [1.0, -1.0]),)]) 
    .toDF() 
    .write 
    .parquet("/tmp/foo")) 

val df = sqlContext.read.parquet("/tmp/foo") 
df.printSchema() 
// root 
// |-- _1: vector (nullable = true)