データフレームで一意に選択します。

Question

特定の列に対して10k個の行を含むデータフレームがあります。重複する値があります。この列にこの値が含まれている行をランダムに1つだけ選択するにはどうしたらいいですか？

Answer 1

あなたの質問は完全ではありませんが、 "重複するクラス"ごとに1つの（ランダムに選択された）行を保持して、データフレーム全体をサブサンプルすると仮定しています。

library(plyr) 
subsampled_data <- ddply(mydata,.(X), 
    function(x) { 
      x[sample(nrow(x),size=1),] 
    }) 

のような何かが（がテストされていません！）動作するはず

Answer 2

私の最初の本能は、ベンのエレガントなddplyソリューションのようなものだったでしょう。しかし、今大規模なデータセットがあることを知って、間違いなく速い方法があります。ここでは、多くのユニークな値を持っている場合はより速く、多くの倍となるものです。

RemoveDups <- function(df, column) { 
    inds = sample(1:nrow(df)) 
    df = df[inds, ] 

    dups = duplicated(df[, column]) 
    df = df[!dups, ] 
    inds = inds[!dups] 

    df[sort(inds, index=T)$ix, ] 
} 

は（ここでは多くのユニークな値を持つ）いくつかのデータをシミュレート：

> system.time(ddply(data, 'X1', function(x) x[sample(nrow(x), size=1), ])) 
    user system elapsed 
    3.264 0.921 4.315 
> system.time(RemoveDups(data, 'X1')) 
    user system elapsed 
    0.375 0.025 0.399 

：

n.row = 10^6 
n.col = 3 

set.seed(12345) 
data = data.frame(matrix(sample(1000, n.row*n.col, replace=T), nrow=n.row)) 

は、2つの方法を比較