Pysparkの使用時にKryoシリアライザのメリットはありますか？

Question

私は、KryoシリアライザがApache Sparkで使用すると、より高速なシリアル化を提供できることを読んだ。しかし、私はPythonを使ってSparkを使っています。

Kryoシリアライザに切り替えると、まだメリットはありますか？

Answer 1

Kryoは、データをbyte[]というオブジェクトとして保存するだけなので、大きな影響を与えません。これはJavaでもシリアル化が高速です。

しかし、試してみる価値があるかもしれません。spark.serializerの設定を行い、クラッセを登録しないでください。

データには、MEMORY_ONLY_SERという名前を付けて保存し、spark.rdd.compressを有効にすると、データが圧縮されます。

Javaの では、これは、いくつかのCPUのオーバーヘッドを追加することができますが、それは問題ではないかもしれませんので、のPythonは、かなり遅く実行されます。また、GCを減らすか、より多くのデータをキャッシュすることで、計算時間を短縮できます。

参考：メーリングリストのMatei Zaharia's answer

Answer 2

これは、PySparkを言うときの意味によります。過去2年間、Sparkの開発と同じPySparkの開発は、低レベルのRDD APIからDataFrameやMLのような高レベルのAPIに移行しました。

これらのAPIはJVMでネイティブに実装されており、Pythonコードは主にドライバで実行される一連のRPC呼び出しに限定されています。それ以外のものは、ScalaやJavaを使用して実行されるコードとほとんど同じコードなので、ネイティブアプリケーションと同じようにKryoのメリットがあります。

私は、PySparkでKryoを使用し、アプリケーションが「ネイティブ」APIに大きく依存している場合には、何かを得るために潜在的に何かを失うことはほとんどないと主張します。