Python Pickle Memoryの問題

Question

まずは事前におねがいします！

私は、特許引用情報を含む大きな辞書オブジェクトをPickle.dumpしようとしています。

私は冗長ではないエラー 'MemoryError'を受け取りました。

これは、ファイルが大きすぎてPickleがメモリにダンプできないためです。誰もが私はこの問題を回避する方法/大きなファイルサイズのメモリストレージの良い代替案をどのように得ることができるかの提案を持っています。

私は単にコードを使用していダンプする：

def pickleDumpCd(): 
with open("./PickleDumpCd","wb")as cdFP: 
    pickle.dump(createSameTSVDateDict("uspatentcitation.tsv"),cdFP) 

がダンプであることがTSV（以下コード）から作成した辞書です：

def createSameTSVDateDict(path): 
citationDateDict = defaultdict() 
with open(path) as citTSV: 
    print("Creating Same TSV Date Dict") 
    header = 0 
    for line in csv.reader(citTSV, dialect="excel-tab"): 
     if header > 0 and line[1] not in citationDateDict: 
      citationDateDict[line[1]] = [(line[3],line[2])] 
     elif header > 0 and line[2] in citationDateDict: 
      citationDateDict[line[1]].append((line[3],line[2])) 
     header += 1 
return citationDateDict 

この問題は、私を苦しめてきました一方、どのような思考/提案も非常に感謝しています。

おかげで、 ルイ

Answer 1

は、私は私のpythonの64ビット版をインストールすることによって解決し、同様の問題がありました。ピクルしようとしているデータが大きすぎない場合は、問題を解決する可能性があります。