大きなオブジェクトを作成するコードを実行しています。複数のユーザー定義クラスが含まれています。後で使用するために直列化する必要があります。私が言うことから、酸洗だけが私の要求に十分に融通性があります。私はそれらを格納するためにcPickleを使用してきましたが、生成するオブジェクトは、メモリの500 MBで動作するコードから約40Gのサイズです。シリアライゼーションのスピードは問題ではありませんが、オブジェクトのサイズは問題ありません。ピクルスを小さくするためのヒントや代替プロセスはありますか?cPickleオブジェクトのサイズを小さくする
import cPickle
import gzip
def save_zipped_pickle(obj, filename, protocol=-1):
with gzip.open(filename, 'wb') as f:
cPickle.dump(obj, f, protocol)
そして、zip形式の漬け物を再ロードするには:
どのようなpickleプロトコルを使用していますか? – user2357112
プロトコルバージョン0.実質的な違いはありますか? – ddn
違いがあります。しかし、私はどのくらいのものか分からない。 – user2357112