Pythonでのファジー文字列一致による2つの大きなcsvファイルの照合

Question

私は、およそ600,000人の名前（氏名）を、8700万人以上の観察（フルネーム）を持つ別のデータベースにほぼ一致させようとしています！ fuzzywuzzyライブラリと

私の最初の試みは、あまりにも遅かったので、私ははるかに高速であるモジュールfuzzysetを使用することにしました。 （964回の観測が一致はるかに小さいデータセットで

import time 
from cfuzzyset import cFuzzySet as FuzzySet 

df1=pd.read_csv(file1,delimiter='|') # test file with 964 observations 
df2=pd.read_csv(file2,delimiter='|') # test file with 50,000 observations to be matched against 

a=FuzzySet() # allocate the FuzzySet object 
for row in file2['name']: 
    a.add(str(row)) # Fill the FuzzySet object with all names from file2 

start_time = time.time() # Start recording the time 

dicto={'index':[],'name':[]} # Dictionary where I store the output 

for names in file1['f_ofulln']: 
    dicto['index'].append(a.get(names)[0][0]) 
    dicto['name'].append(a.get(names)[0][1]) 

print("--- %s seconds ---" % (time.time() - start_time)) 

>>> --- 39.68284249305725 seconds --- 

：私はメモリ内のすべてのデータセットをロードするのに十分な強力なコンピュータを持っていると仮定すると、私は50,000の観測と照合する964回の観測のテストファイルに次のことをやっています50,000回の観察に対して）、時間は39秒であった。

ただし、完全なデータセットに対してこのメ​​ソッドを実行する場合、これは遅すぎます。

実行時間を改善する方法を知っている人はいますか？私はすでに私が見つけたので、

多くのおかげで、

エイドリアン

Answer 1

は、だから私は自分の質問に答えるつもりですfuzzysetモジュールのCython版をインポートしていますので、Cythonは可能性はないと思われますかなり速いです。

panda.HDFStoreおよびpanda.to_hdfメソッドを使用して、両方のデータベースをHDF5形式で保存しました。 姓の最初の文字ごとに1つのデータフレームに保存しました。 次に、Python-Levenshteinモジュールに基づいて最も近い一致を見つける関数を作成しました（C言語でプログラムされているので非常に高速です）。

最後に、私は一度に26のバッチジョブを送信しました.1つは姓の文字ごとです。つまり、私は姓が同じ頭文字の人にしか合致しません。

私はまた、1歳以上の違いがない誕生年と最も近い一致を見つける機能をプログラムしました。

EDIT：要望して以来、私は私の機能の要約を以下に提供しています。 2つのデータフレームをマージする主な機能は、残念ながらここに掲載するには長すぎます。

# Needed imports: 
from Levenshtein import * 
import pandas as pd 

# Function that get the closest match of a word in a big list: 

def get_closest_match(x, list_strings,fun): 
    # fun: the matching method : ratio, wrinkler, ... (cf python-Levenshtein module) 
    best_match = None 
    highest_ratio = 0 
    for current_string in list_strings.values.tolist(): 
     if highest_ratio!=1: 
      current_score = fun(x, current_string) 
      if(current_score > highest_ratio): 
       highest_ratio = current_score 
       best_match = current_string 
    return (best_match,highest_ratio) 

# the function that matches 2 dataframes (only the idea behind, since too long to write everything 
dicto={'Index':[],'score':[], ...} 
def LevRatioMerge(df1,df2,fun,colname,required=[],approx=[],eps=[]): 
    # Basically loop over df1 with: 
    for name in df1.itertuples(): 
     result=get_closest_match(name[YourColnumber],df2[YourColname],fun) 
     dicto['score'].append(result[1]) 
     dicto['Index'].append(name[0]) 
     ... 

これは考えです。あなたの仕事に十分なインスピレーションを与えてくれることを願っています。