diff 2つの大きなファイルをPythonで返します

Question

2つの大きなテキストファイルがあり、それぞれ2GB近くあります。 diff f1.txt f2.txtのようなものが必要です。このタスクを高速に行う方法はありますか？標準difflibが遅すぎます。 difflibはPythonで完全に実装されているので、より速い方法があると私は想定しています。

Answer 1

スクリプトが大きなファイルを処理できるようにdifflibを使用することはどうですか？ファイルをメモリにロードせず、ファイルのファイルを繰り返し、チャンク内のdiffを実行します。たとえば、一度に100行。

import difflib 

d = difflib.Differ() 

f1 = open('bigfile1') 
f2 = open('bigfile2') 

b1 = [] 
b2 = [] 

for n, lines in enumerate(zip(f1,f2)): 
    if not (n % 100 == 0): 
     b1.append(lines[0]) 
     b2.append(lines[1]) 
    else: 
     diff = d.compare("".join(b1), "".join(b2)) 
     b1 = [] 
     b2 = [] 
     print ''.join(list(diff)) 

diff = d.compare("".join(b1), "".join(b2)) 
print ''.join(list(diff)) 
f1.close() 
f2.close()