R - ラージデータセットを使用した層別サンプリング

Question

大きなデータセットがあり、サンプルしたい複数のグループがあります。各グループには一定の数の正のケースがあり、値は1であり、負のケースはさらに多く、値はゼロです。

各グループについて、すべての肯定的なケースを選択し、そのグループの肯定的なケースの量の4倍に等しい負のケースのランダムな量を選択したい。

また、大量のデータをすばやく実行できるものが必要です。

セミ更新：

stratified_sample = data %>% 
    group_by(group) %>% 
    mutate(n_pos = sum(response == 1), 
      n_neg = 4 * n_pos) %>% 
    group_by(group,response) %>% 
    mutate(rec_num = n(), 
     random_val = runif(n()), 
     random_order = rank(random_val)) %>% 
    filter(response == 1 | random_order <= n_neg) 

Answer 1

あなたが正しい名前でサブ場合、これは動作するはずです。問題がある場合は、再現可能な例を提供してください。

library(dplyr) 

stratified_sample = your_large_dataset %>% 
    group_by(whatever_your_grouping_variable_is) %>% 
    mutate(n_pos = sum(column_name_of_your_label == 1), 
      n_neg = sum(column_name_of_your_label == 0), 
      cutoff = 4 * n_pos/n_neg) %>% 
    filter(column_name_of_your_label == 1 | runif(n()) < cutoff) 

これはサンプル画分が正確ではありませんので、/負例数は、選択されるように、各負の場合に正例4 *数の確率を与えるが、それはあなたが望む期待値を持っています。