Pythonで2つのほぼ同じCSVを比較する最も効率的な方法は？

Question

私は2つのCSVを持っています。それぞれは、約1M行、n個の列と、同じ列を持っています。私は、2つのファイルを比較してどのような違いがあるのか​​を見つける最も効率的な方法を望んでいます。私は、エクセル関連のツールを使用するのではなく、このデータをPythonで解析する方が好きです。

Answer 1

パンダを使用していますか？

import pandas as pd 
df = pd.read_csv('file1.csv') 
df = df.append(pd.read_csv('file2.csv'), ignore_index=True) 

# array indicating which rows are duplicated 
df[df.duplicated()] 

# dataframe with only unique rows 
df[~df.duplicated()] 

# dataframe with only duplicate rows 
df[df.duplicated()] 

# number of duplicate rows present 
df.duplicated().sum() 

Answer 2

効率的な方法は、（行数が少ない）最初のファイルから各行を読み取り、O（1）の複雑さを使用してアクセスできるSetまたはDictionaryのようなオブジェクトに保存することです。

次に、2番目のファイルから行を読み込んで、それがセットに存在するかどうかを確認します。