データフレームの重複する行を削除するpython

Question

データセットから重複する行を削除する必要があります。基本的に、私は重複を削除だけでなく、別のdataframeでそれらの重複行を保存する必要が

proc sort data=mydata noduprecs dupout=mydata_dup;run; 

を実行する必要があります。どうやってやるの？

Answer 1

あなたのデータセットがパンダのデータフレームであると仮定します。すべての重複行を選択するには

data = data.drop_duplicates() 

：重複行を削除する

dup = data.ix[data.duplicated(), :] 

はそれがお役に立てば幸いです。