メモリリーク - dictsのpython - counter - lists

Question

file_dict = {} 
    for calli, callj in itertools.product(feats,feats): 
     keys = seqd.keys() 
     if (not calli in keys) | ((not callj in keys)): 
      continue 
     else: 
      lst = [] 
      ##### this is the problematic part !!!!!!!!! 
      for jj, ii in itertools.product(seqd[callj], seqd[calli]): 
       if (jj - ii) > 0: 
        lst.append(1./(jj - ii)) 
        del jj,ii 
      entry = sum(lst) 
      del lst 
      file_dict[str(calli) + " " + str(callj) + " distance"] = entry 

私はいくつかのコードで上記のスニペットを使用しており、ファイルを繰り返しています。私はある種のメモリリークを持っています。私がハイライトしたループにある4行をコメントアウトすれば、私のコードは100Mバイトの一定のRAMにとどまります。しかし、私はこれをコメントを外すと、最大8-9GBの超高速になります。助けてください！！

Answer 1

コンテキストについては、このペーパーの5ページのアルゴリズムを複製し、システムコール依存グラフを生成します。

ここに完全なコード修正があります。それは基本的に和の中でリストの理解を使用することを含んでいたが、理解のまわりに括弧を入れていなかった。それらが生成された代わりのリストを構築する最初のされたように、その方法は、アイテムを合計した...ここで

はコードです：

def graph_maker_dict(feats, calls): 
# get dictionary of present calls and list of indexes where they appear 
seqd = defaultdict(list) 
for v, k in enumerate(calls): 
    seqd[k].append(v) 

# run calculations with list comprehensions 
file_dict = {} 
for calli, callj in itertools.product(feats,feats): 
    keys = seqd.keys() 
    if (not calli in keys) or ((not callj in keys)): 
     continue 
    else: 
     entry = sum(1./(jj - ii) for jj in seqd[callj] for ii in seqd[calli] if (jj - ii) > 0) 
     file_dict[calli[:2] + " " + callj[:2] + " distance"[:2]] = entry 
return file_dict