Dask：後で使用するためにデータフレームをピクルすることは安全ですか？

Question

私は多くのdaskデータフレームを含むデータベースのようなオブジェクトを持っています。データを保存して保存し、翌日に再読み込みして分析を続けたいと思います。

したがって、pickleを使用してdaskデータフレーム（計算結果ではなく、単に「計算計画」）を保存しようとしました。どうやら、それは動作します（少なくとも、正確に同じマシン上のオブジェクトをアンピクルした場合）...しかし、いくつかの落とし穴がありますか？

Answer 1

一般的にはです。通常はです。

1. あなたdask.dataframeは、このようなdf.apply(lambda x: x)とのようにカスタム関数が含まれている場合、内部関数がpickleableではありません。しかし、いくつかの注意点があります。しかし、それでもまだシリアライズ可能ですcloudpickle
2. dask.dataframeにローカルコンピュータでのみ有効なファイルへの参照が含まれていて、それでもシリアライズ可能な場合、別のマシン上の再シリアル化されたバージョンはもはや役に立ちません
3. Executor.persistをクラスタで使用する場合など、dask.dataframeにdask.distributedFutureのオブジェクトが含まれている場合、これらは現在シリアル化できません。
4. バージョン0.11.0以上を使用することをおすすめします。