ファジーファイル差分

Question

ファジー検索ではいくつかのリソースが見つかりますが、ファジーファイル/文字列比較では何も見つかりません。単純な違い（日付や電子メールアドレスなど）を無視してファイルを比較する方法はありますか？

私は2つの文字列と正規表現のリストを渡すことができる関数/ツールについて考えていました。戻り値は、渡された正規表現に一致するもの以外のdiffのリストになります。

最初のパスとして、私はdifflibをラップすることを考えていましたが、渡された正規表現との違いのペアをテストしましたが、これを達成するためのよりよい方法はありますか？

Answer 1

各タプルは、正規表現と文字列

[(r'\d\d?/\d\d?/\d\d\d\d', '00/00/0000'), ...] 

を有している場合我々は難読化re.subを使用して、連続置換を行います。このうち発電機のパイプラインを構築することができ、あなたはタプルのリストを持っているとしましょう日付、時刻、電子メールアドレスのようなものの違いなど最後forループでは

import re 

def replace(pat, repl, iterable): 
    pat = re.compile(pat) 
    for string in iterable: 
     yield pat.sub(repl, string) 

def reader(filelist): 
    for name in filelist: 
     with open(name) as f: 
      yield f.read() 

filelist = ['filename1.txt', 'filename2.txt', ...] 
patterns = [(r'\d\d?/\d\d?/\d\d\d\d', '00/00/0000'), ...] 
source = reader(filelist) 
gen = source 
for pat, repl in patterns: 
    gen = replace(pat, repl, gen) 
for string in gen: 
    print(string) 

、genは、ファイルのサニタイズ内容を生成するジェネレータです。ここではそれらを印刷しますが、ファイルに書き戻したり、保存したり、一度に1つずつ分析したり、反復的にdiffを実行したりすることができます。