Apache Spark：Python関数が自動的にシリアライズ

Question

私はApache sparkのドキュメントを調べていました。 Spark docs for pythonには、次の言葉：

...我々は...自動的にそれらが参照する変数と一緒に連載さ である、スパークする

をPython関数を渡すことができ、私は完全に何を理解していませんその意味は。それは何かRDDタイプをしなければならないのですか？

スパークの意味ではどういう意味ですか？

Answer 1

serializationは、ローカルで定義した機能を各ワーカーノードでリモートで実行する必要があるため、PySparkを使用する場合に必要です。この概念はRDDタイプには実際には関係しません。