R：HUGEメモリ要件nlmeパッケージ

Question

にGLSする分散構造を適用し、私はその後、weights引数を使用して、モデルに固定された分散構造を追加しようとR. でnlmeパッケージのgls機能を使用してモデルを作成しました。

しかし、メモリの割り当てについては、まあまあのようです。 glsEstimate（オブジェクト、コントロール=コントロール）で

エラー： 'のcallocは、' メモリ（18446744073709551616 8のバイト）

これをどうするかについての任意の提案を割り当てることができませんでした？

---

コンテキスト：

• マイコード：

  mod <- read.csv('mod.ht.dat.csv', head = T) 
  dim(mod) 
  [1] 90826  8 
  
  library(nlme) 
  lm3 <- gls(HT ~ D * I(D^2), data = mod, na.action = na.omit, method = 'ML') 
  vf1Fixed <- varFixed(~D) 
  lm2 <- update(lm3, . ~ ., weights = vf1Fixed) 
  Error in glsEstimate(object, control = control) : 
      'Calloc' could not allocate memory (18446744073709551616 of 8 bytes) 
  

  - 注意：モデル形式がZuur et al. (2009)からです。

• 私のメモリ使用量（使用hereからコード）とメモリ制限：

  > lsos() 
         Type  Size PrettySize Rows Columns 
  lm3    gls 12361512 [1] "11.8 Mb" 16  NA 
  mod.ht.dat data.frame 4002768 [1] "3.8 Mb" 90826  8 
  vf1Fixed  varFixed  1024 [1] "1 Kb"  0  NA 
  
  > memory.limit() 
  [1] 8182 
  

• セッション情報：必要に応じて割り当てられたメモリが、私は「何のために途方もなく高いようだ

  R version 3.3.1 (2016-06-21) 
  Platform: x86_64-w64-mingw32/x64 (64-bit) 
  Running under: Windows 7 x64 (build 7601) Service Pack 1 
  

やっている。

I直接（対 update）を glsを使用して、コードを変更した、Iは、モデルコール自体の でvarFixedと外側に配置した、私がモデルの前にD^2 NW変数をcreatdき

コール、私は私の記憶をクリアした、私はコンピュータなどを再起動しました....何もこの巨大な数字を持っているようです。

この固定分散構造をモデルに追加すると、実際にはがメモリ集中型である可能性がありますか？コメントで要求されたよう

：？

>traceback() 

8: glsEstimate(object, control = control) 
7: Initialize.glsStruct(glsSt, dataMod, glsEstControl) 
6: Initialize(glsSt, dataMod, glsEstControl) 
5: gls(model = HT ~ D + I(D^2) + D:I(D^2), data = mod, method = "ML", 
    na.action = na.omit, weights = vf1Fixed) 
4: eval(expr, envir, enclos) 
3: eval(call, parent.frame()) 
2: update.gls(lm3, . ~ ., weights = vf1Fixed) 
1: update(lm3, . ~ ., weights = vf1Fixed) 

>dput(head(mod,5)) 

structure(list(HT = c(3.7, 8.7, 10.1, 4, 8.7), SPEC = structure(c(53L, 
53L, 53L, 53L, 53L), .Label = c("ACBA", "ACER", "ACRU", "AESY", 
"AIAL", "ALJU", "AMAR", "BENI", "CACA", "CACO", "CACR", "CAFL", 
"CAGL", "CAOL", "CAOV", "CAPA", "CARY", "CATO", "CECA", "CELA", 
"CEOC", "CHVI", "COFL", "CRAT", "CRMA", "DIVI", "ELPU", "ELUM", 
"EUAM", "FAGR", "FRAX", "GLTR", "HAVI", "ILAM", "ILDE", "ILOP", 
"JUNI", "JUVI", "LIBE", "LIJA", "LISI", "LIST", "LITU", "LOMA", 
"MAGR", "MATR", "MORU", "NYSY", "OSVI", "OXAR", "PATO", "PIEC", 
"PITA", "PIVI", "PLOC", "PRSE", "QUAL", "QUCO", "QUER", "QUFA", 
"QULY", "QUMA", "QUPH", "QURG", "QURU", "QUST", "QUVE", "RHCO", 
"SAAL", "STGR", "ULAL", "ULAM", "ULRU", "UNKN", "VAAR", "VACC", 
"VACO", "VAST", "VIAC", "VIBR", "VIPR", "VIRA", "VIRU"), class = "factor"), 
    D = c(4.1, 6.9, 7.4, 6.9, 13.7), plot = c(4L, 4L, 4L, 4L, 
    4L), tree_age = c(9L, 13L, 16L, 9L, 13L), Year = c(1933L, 
    1937L, 1940L, 1933L, 1937L), StaticLineID = c(1L, 1L, 1L, 
    2L, 2L), D2 = c(16.81, 47.61, 54.76, 47.61, 187.69)), .Names = c("HT", 
"SPEC", "D", "plot", "tree_age", "Year", "StaticLineID", "D2" 
), row.names = c(NA, 5L), class = "data.frame") 

---

更新それとも、私が行方不明だ...

---

UPDATEことをここで起こって何か他のものです2：

ちょうど注意してください：データに全く異なるタイプの分散構造を適用して、コンピュータが比較的似たようなメモリ集約的な手順をどのように扱っていたかを見ました。

• 私はvarIdent分散構造追加この時間：それは実行するために永遠にかかった（及びコンバージェンスエラーになってしまった）が

  >vf2 <- varIdent(form = ~ 1 | SPEC) 
  >lm22 <- update(lm3, . ~ ., weights = vf2) 
  

を、それがすぐにメモリ割り当てを生じませんでした以前のvarFixedコーディングのようにエラーが発生しました。

Answer 1

SOLUTION：まあ、私はまだ（私はvarFixed詳しく見が私に言うかもしれないと仮定していますが）、それが起こってなぜわからないんだけど、私分散から共変量

を0値を削除します問題が見つかりました。

（より一般的には、変数に0の値（いわゆる分散共分散）があった私は、固定分散構造を生成するために使用しようとしていた）はD = 0

3つのインスタンスがありました。

トレーニングデータから0の値でこれらの3つのツリーを削除すると、モデルは予想どおり（ほとんど直ちに）実行されました。

[注：これらのツリーはすべてデータ収集エラーを表しているため、「放棄」しても問題ありません。