Rで複数のMySQLテーブルを結合する最善のアプローチ

Question

Rで複数のMySQLテーブルを組み合わせる最良の方法は何ですか？例えば、私はrbindの14個の大きな `MySQLテーブル（各100k行×100列）が必要です。私は以下のアプローチを試しました。これは私の記憶の大半を消費し、MySQLからタイムアウトしました。代わりの解決策があるのでしょうか？テーブル全体をフェッチする必要はありません。テーブル全体をいくつかの変数でグループ化し、いくつかのメトリックを計算するだけです。

station_tbl_t <- dbSendQuery(my_db, "select * from tbl_r3_300ft 
        union all 
        select * from tbl_r4_350ft 
        union all 
        select * from tbl_r5_400ft 
        union all 
        select * from tbl_r6_500ft 
        union all 
        select * from tbl_r7_600ft 
        union all 
        select * from tbl_r8_700ft 
        union all 
        select * from tbl_r9_800ft 
        union all 
        select * from tbl_r10_900ft 
        union all 
        select * from tbl_r11_1000ft 
        union all 
        select * from tbl_r12_1200ft 
        union all 
        select * from tbl_r13_1400ft 
        union all 
        select * from tbl_r14_1600ft 
        union all 
        select * from tbl_r15_1800ft 
        union all 
        select * from tbl_r16_2000ft 
        ") 

Answer 1

は、反復的にMySQLのテーブルのデータをインポートして、オーバーヘッドを節約するためにR.と、バインドを行と必要な列を選択するために、必ず考慮してください。

tbls <- c("tbl_r3_300ft", "tbl_r4_350ft", "tbl_r5_400ft", 
      "tbl_r6_500ft", "tbl_r7_600ft", "tbl_r8_700ft", 
      "tbl_r9_800ft", "tbl_r10_900ft", "tbl_r11_1000ft", 
      "tbl_r12_1200ft", "tbl_r13_1400ft", "tbl_r14_1600ft", 
      "tbl_r15_1800ft", "tbl_r16_2000ft") 

sql <- "SELECT Col1, Col2, Col3 FROM" 

dfList <- lapply(paste(sql, tbls), function(s) { 
      tryCatch({ return(dbGetQuery(my_db, s)) 
         }, error = function(e) return(as.character(e))) 
      }) 

# ROW BIND VERSIONS ACROSS PACKAGES 
master_df <- base::do.call(rbind, dfList) 
master_df <- plyr::rbind.fill(dfList) 
master_df <- dplyr::bind_rows(dfList) 
master_df <- data.table::rbindlist(dfList)