RODBCから300万レコードを読み込んでテキストファイルに書き込む方法

Question

テーブルから300万レコードを読み込んでいますが、テキストファイルに書き込みたいのですが、プログラムのメモリが不足していますエラーを投げる

メモリの最大容量を超える3096 MB。

マイシステム構成は、4GB RAMのi5プロセッサです。

下記のコードをご覧ください。あなたは何ができるか

library(RODBC) 
con <- odbcConnect("REGION", uid="", pwd="") 

a <- sqlQuery(con, "SELECT * FROM dbo.GERMANY where CHARGE_START_DATE = '04/01/2017'"); 
write.table(a,"C:/Users/609354986/Desktop/R/Data/1Germany.txt",na="",sep="|",row.names = FALSE,col.names = FALSE) 

close(con) 

Answer 1

あなたはそれをループして抽出/ここにあなたのメモリ を埋めることなく、作品によって、あなたのデータピースを書き込むことができますので、あなたのDBテーブルにインデックスを追加で

# create that index 
    sqlQuery(channel, 'alter table dbo.GERMANY ADD MY_COL NUMBER') 

    sqlQuery(channel, 'update dbo.GERMANY set MY_COL = rownum ') 

    # the function 
    g <- function(a) { 

     for (i in (1:length(a))) { 
     query <- gsub('\n',' ', paste("SELECT * FROM dbo.GERMANY where 
         CHARGE_START_DATE = '04/01/2017 and 
         my_col between",a[i] ," and ", a[i+1], collapse = ' ')); 

     df <- sqlQuery(channel, query) ; 

     write.csv(df, paste('my_',i,'_df.csv')) ; 
     } 
    } 

    # use reasonable chunks 
    a <- seq(1,3000000,250000) 


    g(a)