2つのファイルを効果的に反復する方法（25000 + Lines）

Question

したがって、私は約25,000行のデータを照合するためにPythonの中で組み合わせリストを作成しようとしています。

リストから

Serial|Mac 

Mac 1する必要があります。

最初のリストのデータは、2番目のリストデータはserial.uid来て、このようなファイルのmac.uidから来て、この

Mac|ID 

のように見えます参加する前にリスト2のMacと同じになります。

これは私が現在やっていることですが、繰り返しすぎていると思います。

combined = []; 

def combineData(): 
    lines = open('mac.uid', 'r+') 
    for line in lines: 
     with open('serial.uid', 'r+') as serial: 
      for each in serial: 
       a, b = line.strip().split('|') 
       a = a.lower() 
       x, y = each.strip().split('|') 
       y = y.lower() 
       if a == y: 
        combined.append(a+""+b+""+x) 

最終的なリストは、このように見えるようになっている：私はExcelシートにインポートできるよう

Mac(List1), ID(List1), Serial(List2) 

。

ありがとうございました！代わりに、あなたはあなたのおおよそO（ Nログ（ N））の複雑さを与える辞書を使用する必要があります（二次複雑さの原因となる）あなたのネストされたループの

Answer 1

。これを行うには、最初にserial.uidをに一度読み、シリアル番号にMACアドレスのマッピングをdictに保存します。

serial = dict() 

with open('serial.uid') as istr: 
    for line in istr: 
     (ser, mac) = split_fields(line) 
     serial[mac] = ser 

その後、再度ファイルを閉じることができますし、プロセスmac.uidはあなただけで作成した辞書内の各MACアドレスのシリアル番号を調べます。私はタプルのリストに文字列のリストからcombinedを変更した

combined = list() 

with open('mac.uid') as istr: 
    for line in istr: 
     (mac, uid) = split_fields(line) 
     combined.append((mac, uid, serial[mac])) 

注意。私は分割ロジックを別の関数にも分解しました。 （あなたはもちろん、その使用の前に、その定義を配置する必要があります。）

def split_fields(line): 
    return line.strip().lower().split('|') 

最後に、私はあなたの変数のため、より説明的な名前を使用して起動することをお勧めします。

25k行のファイルの場合、すべてをメモリに保存する必要はありません。データセットがそれ以上に大きくならない場合は、データベースの使用を検討したいことがあります。 Python標準ライブラリには、SQLite moduleが付属しています。