pysparkパイプラインオブジェクトをシリアル化する方法は？

Question

私はPySpark Pipelineオブジェクトをシリアル化しようとしていますので、後でそれを保存して取得することができます。 Python pickleライブラリとPySparkのPickleSerializerを使って試したところ、dumps()呼び出し自体が失敗しています。

ネイティブpickleライブラリを使用してコードスニペットを提供しています。

pipeline = Pipeline(stages=[tokenizer, hashingTF, lr]) 
with open ('myfile', 'wb') as f: 
    pickle.dump(pipeline,f,2) 
with open ('myfile', 'rb') as f: 
    pipeline1 = pickle.load(f) 

実行中に以下のエラーを取得：

py4j.protocol.Py4JError: An error occurred while calling o32.__getnewargs__. Trace: 
py4j.Py4JException: Method __getnewargs__([]) does not exist 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335) 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344) 
    at py4j.Gateway.invoke(Gateway.java:252) 
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133) 
    at py4j.commands.CallCommand.execute(CallCommand.java:79) 
    at py4j.GatewayConnection.run(GatewayConnection.java:209) 
    at java.lang.Thread.run(Thread.java:785) 

はPySpark Pipelineオブジェクトをシリアル化することは可能ですか？

Answer 1

技術的にはあなたが簡単にPipelineオブジェクトをpickle化することができます話す：

from pyspark.ml.pipeline import Pipeline 
import pickle 

pickle.dumps(Pipeline(stages=[])) 
## b'\x80\x03cpyspark.ml.pipeline\nPipeline\nq ... 

あなたはピクルスがJVMのオブジェクトの周りだけ薄いラッパーですTransformersとEstimatorsスパークであることができない何か。

def make_pipeline(): 
    return Pipeline(stages=[Tokenizer(inputCol="text", outputCol="words")]) 

pickle.dumps(make_pipeline) 
## b'\x80\x03c__ ... 

をしかし、それはコードの単なる一部であり、任意の永続的なデータが格納されていないので、それは特に有益見ていません：あなたは本当にこれを必要とする場合は、たとえば機能でこれをラップすることができます。