Pythonでエラーの原因を見つける方法大きなオブジェクトのPickle

Question

かなり大きなプロジェクトのために誰かのコードを引き継いだ。私はプログラムの状態を保存しようとしています。他のすべてのオブジェクトをほぼすべて格納している1つの大規模オブジェクトがあります。私は、このオブジェクトをpickle化しようとしているが、私はこのエラーを取得：

私はGoogleで見つけることができるものから、

pickle.PicklingError: Can't pickle : it's not found as builtin.module

、どこかに私はPythonのINITの外に何かをインポートしていますので、これはある、またはクラス属性があることモジュールを参照します。だから、私は2つの質問を持っています：

1. 誰もがこのエラーが与えられていることを確認できますか？私のコードで正しいものを探していますか？

2. コード/オブジェクトメンバーのどの行がピクルの問題を引き起こしているかを見つける方法はありますか？トレースバックでは、エラーが発生した箇所のピクル内の行だけが表示され、ピクルされるオブジェクトの行は戻されません。

Answer 1

2）あなたは、それはそれは酸洗何のログを表示するにはpickle.Picklerと猿パッチをサブクラス化することができます。これにより、問題の場所を簡単に追跡できます。

import pickle 
class MyPickler (pickle.Pickler): 
    def save(self, obj): 
     print 'pickling object', obj, 'of type', type(obj) 
     pickle.Pickler.save(self, obj) 

これは、pickle.PicklerのPython実装でのみ機能します。 Python 3.xでは、pickleモジュールはデフォルトでC実装を使用し、pure-PythonバージョンのPicklerは_Picklerと呼ばれます。問題を引き起こしているオブジェクトのどの属性/メンバー見つける間に合わせと-方法として

# Python 3.x 
import pickle 
class MyPickler (pickle._Pickler): 
    def save(self, obj): 
     print ('pickling object {0} of type {1}'.format(obj, type(obj)) 
     pickle._Pickler.save(self, obj) 

Answer 2

1）あなたが見つけたものと若干の違いがあります。これは、モジュールタイプを参照している（モジュールではなく）変数（クラス属性、リストまたはdictアイテム、それは何でもよい）によって引き起こされる問題です。このコードは、問題を再現する必要があります

import pickle 
pickle.dumps(type(pickle)) 

Answer 3

、あなたが試みることができる：このような

for k, v in massiveobject.__dict__.iteritems(): 
    print k 
    pickle.dumps(v) 

Answer 4

何かがdillに存在します。のは、オブジェクトのリストを見てみましょう、と私たちは何ができるかを参照してください。

>>> import dill 
>>> f = open('whatever', 'w') 
>>> f.close() 
>>> 
>>> l = [iter([1,2,3]), xrange(5), open('whatever', 'r'), lambda x:x] 
>>> dill.detect.trace(False) 
>>> dill.pickles(l) 
False 

[OK]を、dillリストをpickle化に失敗しました。だから問題は何ですか？

>>> dill.detect.trace(True) 
>>> dill.pickles(l) 
T4: <type 'listiterator'> 
False 

いいえ、リストの最初の項目はピクルに失敗します。残りはどう？

>>> map(dill.pickles, l) 
T4: <type 'listiterator'> 
Si: xrange(5) 
F2: <function _eval_repr at 0x106991cf8> 
Fi: <open file 'whatever', mode 'r' at 0x10699c810> 
F2: <function _create_filehandle at 0x106991848> 
B2: <built-in function open> 
F1: <function <lambda> at 0x1069f6848> 
F2: <function _create_function at 0x1069916e0> 
Co: <code object <lambda> at 0x105a0acb0, file "<stdin>", line 1> 
F2: <function _unmarshal at 0x106991578> 
D1: <dict object at 0x10591d168> 
D2: <dict object at 0x1069b1050> 
[False, True, True, True] 

hm。他のオブジェクトはうまくいきます。だから、最初のオブジェクトを置き換えましょう。

>>> dill.detect.trace(False) 
>>> l[0] = xrange(1,4) 
>>> dill.pickles(l) 
True 
>>> _l = dill.loads(dill.dumps(l)) 

ここではオブジェクトピクルです。さて、linux/unix/macでのpicklingで起こる組み込みのオブジェクト共有を利用することができます...実際にサブプロセスを横切るような強いチェックはどうでしょうか？

>>> dill.check(l)   
[xrange(1, 4), xrange(5), <open file 'whatever', mode 'r' at 0x107998810>, <function <lambda> at 0x1079ec410>] 
>>> 

いいえ、リストはまだ動作しません...これは他のプロセスに正常に送信できるオブジェクトです。

は今、誰もが無視するように見えたあなたのエラーについて、で...

ModuleTypeオブジェクトがpickleableないが、それはあなたのエラーを引き起こしています。

>>> import types 
>>> types.ModuleType 
<type 'module'> 
>>> 
>>> import pickle 
>>> pickle.dumps(types.ModuleType) 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1374, in dumps 
    Pickler(file, protocol).dump(obj) 
    File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 224, in dump 
    self.save(obj) 
    File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 286, in save 
    f(self, obj) # Call unbound method with explicit self 
    File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 748, in save_global 
    (obj, module, name)) 
pickle.PicklingError: Can't pickle <type 'module'>: it's not found as __builtin__.module 

dillをインポートすると、魔法のように動作します。

>>> import dill 
>>> pickle.dumps(types.ModuleType) 
"cdill.dill\n_load_type\np0\n(S'ModuleType'\np1\ntp2\nRp3\n." 
>>>