Pythonでデータをサニタイズするための大きなテンポラリデータベース

Question

私はxmlファイルから大量のデータを取得していますが、すべてのデータを互いに照合する必要があります（50万レコードを超えている）。それは位置データなので、郡、路線接頭辞、路線接尾辞、通り名、出発家屋番号、終了番号などの情報があります。重複やハウスナンバーオーバーラップなどがあり、問題のある場所など、すべてのデータを報告する必要があります。また、xmlファイル内にデータの順序はありません。したがって、各レコードは他のすべてのレコードと照合する必要があります。

今、私は通りの名前情報に基づいて場所の辞書を作成し、その家の番号の開始と終了の場所のリストを保存しています。この作業がすべて完了したら、各リスト内で重複や重複を見つけるために作成された膨大なデータ構造を繰り返しています。私はデータ構造のサイズやエラーの数に問題があります。

私に示唆された解決策の1つは、ファイルから読み込まれたすべてのデータを保持するために一時的なSQLite DBを作成し、DBを実行してデータに関するすべての問題を見つけ出し、報告してから破棄することでしたDB。これを行うためのより良い/より効率的な方法がありますか？そして、この問題に近づくためのよりよい方法に関する提案はありますか？

fyiとして、私が読み込んでいるxmlファイルは500MBを超えています（これは大部分ですが、この通りの情報以外のデータも保存しています）が、ファイルの処理は私の所ではありません問題が発生すると、ファイルから取得したデータを処理するときのみです。

EDIT：私は詳細に行くことができましたが、データのためにメモリに十分な空きがあると述べたポスターは実際には正しかったですが、1つのケースではこれを350万レコードに対して実行しなければなりませんでした。インスタンス私は一時的なデータベースを作成する必要がありました。

Answer 1

500,000は大した数字ではありません。なぜなら、すべてのレコードで、関連するエントリからdictを作成し、確認する必要があるものをチェックしてください。

import random 
import time 

class Data(object): 
    ID = 0 
    def __init__(self, data): 
     Data.ID+=1 
     self.id =Data.ID 
     self.data = data 
     self.duplicates = None 

def fill_data(N): 
    data_list = [] 
    # create alist of random data 
    sample = list("anuraguniyal") 
    for i in range(N): 
     random.shuffle(sample) 
     data_list.append(Data("".join(sample))) 
    return data_list 

def find_duplicate(data_list): 
    data_map = {} 
    for data in data_list: 
     if data.data in data_map: 
      data_map[data.data].append(data) 
     else: 
      data_map[data.data] = [data] 

     data.duplicates = data_map[data.data] 

st = time.time() 
data_list = fill_data(500000) 
print "fill_data time:", time.time()-st 
st = time.time() 
find_duplicate(data_list) 
print "find_duplicate time:", time.time()-st 

total_duplicates = 0 
max_duplicates = 0 
for data in data_list: 
    total_duplicates += (len(data.duplicates) - 1) 
    max_duplicates = max(len(data.duplicates),max_duplicates) 
print "total_duplicates count:",total_duplicates 
print "max_duplicates count:",max_duplicates 

出力：

fill_data time: 7.83853507042 
find_duplicate time: 2.55058097839 
total_duplicates count: 12348 
max_duplicates count: 3 

したがって、この場合のシナリオは、それは同様の方法でどのように異なるを行うことができますか？

Answer 2

PAF（英国の郵便局のアドレスファイル - 基本的には英国のすべての住所）に対してこのデータが既に浄化されていない限り、同じ実際の家であるが異なる綴りの住所、間違った郵便番号、郵便番号これはあなたのアプローチを完全に変えるでしょう。

開始する前にこれが消毒されているかどうかを確認してください。あなたにそれを渡す人は、「はい、もちろんありますし、私もやった」と言うか、まったく見えません。

浄化されている場合はおそらく外部の代理店があなたのデータを提供していると思いますが、これはおそらくあなたのために行うことができます。乗る。

ない場合、あなたはなど、彼らが試合のようにしたいどのようconfidnet、問題の範囲を持っているし、彼らが望むものについてのあなたの上司と話をする必要があります

一般的な考え方は、数を思い付くことです比較の対象となる2つのアドレスが同じである確信度値を出力します。次に、これらの値のいくつかが重み付けされ、2つのアドレスが一致するとみなすために合計confidnece値を渡さなければなりません。

しかしこれはあなたの問題ですが、私はあなたの上司これはマーケティングとテクニカルデパットの間に明確に理解されている領域ではありません。