大きなデータフレームを処理するときに計算時間を短縮する最も良い方法は何ですか？

Question

私は、RStudioサーバーに9つのmioオブジェクトからなる大きなデータフレームを以下の形式で持っています（各installnrには多くの読み込みがあります）。そして、毎時のすべての読み取り値の平均と標準エラーバーを計算するスクリプトを実行すると、 Rがクラッシュします。巨大な計算時間を避け、メモリサイズを超える最善の方法は何ですか？

 installnr readdate readings 
    1 002345 2014-08-17 {0,0,0,1,0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,1,0,0,2,0} 
    2 002345 2014-08-18 {0,0,0,0,0,0,4,1,0,0,0,0,1,1,1,1,0,1,1,1,1,1,0,1} 
    3 002345 2014-08-19 {0,1,2,1,0,1,1,1,2,0,1,0,1,0,1,0,1,0,1,0,2,1,1,0} 
    4 013459 2014-08-17 {1,0,0,1,0,1,1,1,1,0,1,0,1,0,1,0,0,1,3,1,0,0,1,1} 
    5 127465 2014-08-19 {0,1,0,0,1,0,1,1,1,0,0,1,2,0,1,0,0,1,1,0,0,1,1,1} 

私が実行しているスクリプトの例は以下の通りです：あなたはあなたの入力フォーマットに固執したい場合

df$readings = gsub("[{}]", "", as.character(df$readings)) 
Read1 = strsplit(df$readings, ",") 
Readings = matrix(as.numeric(unlist(Read1)), nrow=length(Read1)) 
colMeans(Readings) 

Answer 1

、ここにあなたのために働くかもしれないソリューションです。

最初にstringrとdata.tableをインストールして読み込みます。読み取りから

次に、抽出数とデータテーブルを作成する：正規表現[0-9]+が整数値をとること

dt <- data.table(str_extract_all(df$readings,"[0-9]+", simplify=TRUE)) 

注意。

第三に、CHRから数値にデータテーブル全体を変換：今すぐ

dt <- dt[, lapply(.SD, as.numeric)] 

、個々の列の平均値を計算するためにdt[, lapply(.SD, mean)]を使用しています。

もちろん、lapply(dt, mean)を使用することもできます。