Python MemoryError（キューとスレッディングあり）

Question

私は現在、大きなファイル（5ギガヘルツ、30ギガバイトのデータが読み込まれています）からレッドコメントを読み込むスクリプトを書いています。私のスクリプトは、コメントを読んで、テキストをチェックして解析し、（別のスレッドで実行されている）Queue関数に送ります。私が何をしていても、私はいつも特定の反復でMemoryErrorを取得します（問題がわずかであれば番号8162735）。そして、私はエラーを処理するように見えることはできません、Windowsはヒット時にPythonをシャットダウンし続けます。ここにスクリプトがあります：

import ujson 
from tqdm import tqdm 
import bz2 
import json 
import threading 
import spacy 
import Queue 
import time 
nlp = spacy.load('en') 
def iter_comments(loc): 
    with bz2.BZ2File(loc) as file_: 
     for i, line in (enumerate(file_)): 
      yield ujson.loads(line)['body'] 
objects = iter_comments('RC_2015-01.bz2') 
q = Queue.Queue() 
f = open("reddit_dump.bin", 'wb') 
def worker(): 
    while True: 
     item = q.get() 
     f.write(item) 
     q.task_done() 
for i in range(0, 2): 
    t = threading.Thread(target=worker) 
    t.daemon = True 
    t.start() 
def finish_parse(comment): 
    global q 
    try: 
     comment_parse = nlp(unicode(comment)) 
     comment_bytes = comment_parse.to_bytes() 
     q.put(comment_bytes) 
    except MemoryError: 
     print "MemoryError with comment {0}, waiting for Queue to empty".format(comment) 
     time.sleep(2) 
    except AssertionError: 
     print "AssertionError with comment {0}, skipping".format(comment) 
for comment in tqdm(objects): 
    comment = str(comment.encode('ascii', 'ignore')) 
    if ">" in comment: 
     c_parse_thread = threading.Thread(target=finish_parse, args=(comment,)) 
     c_parse_thread.start()   
q.join() 
f.close() 

私が間違っていることを知っている人はいますか？

Answer 1

あなたのコードにはないようですが、データに含まれる可能性があります。あなたはその反復をスキップしようとしましたか？

x = 0 
for comment in tqdm(objects): 
    x += 1 
    if x != 8162735 

     comment = str(comment.encode('ascii', 'ignore')) 
     if ">" in comment: 
      c_parse_thread = threading.Thread(target=finish_parse, args=(comment,)) 
      c_parse_thread.start()