R h2oサーバCURLエラー、繰り返しの種類

Question

最初はランダムな問題だと思っていましたが、スクリプトを再実行すると再び発生します。

Error in .h2o.doSafeREST(h2oRestApiVersion = h2oRestApiVersion, urlSuffix = urlSuffix, : 
Unexpected CURL error: Recv failure: Connection reset by peer 

私はグラデーション後押しマシン・モデルで（約40000×30）中規模のデータセット上のグリッドサーチをやっています。グリッド内の最大のツリーは1000です。これは通常、2時間実行した後に発生します。私はmax_mem_sizeを30Gbに設定しました。

for (k in 1:nrow(par.grid)) { 
    hg = h2o.gbm(training_frame = Xtr.hf, 
       validation_frame = Xt.hf, 
       distribution="huber", 
       huber_alpha = HuberAlpha, 
       x=2:ncol(Xtr.hf),   
       y=1,      
       ntrees = par.grid[k,"ntree"], 
       max_depth = depth, 
       learn_rate = par.grid[k,"shrink"], 
       min_rows = par.grid[k,"min_leaf"], 
       sample_rate = samp_rate, 
       col_sample_rate = c_samp_rate, 
       nfolds = 5, 
       model_id = p(iname, "_gbm_CV") 
       ) 
    cv_result[k,1] = h2o.mse(hg, train=TRUE) 
    cv_result[k,2] = h2o.mse(hg, valid=TRUE) 
    } 

Answer 1

あなたの最も内側のループにgc()を追加してみてください。明示的にh2o.rm()を使用する方が良いでしょう。

だから、それはのようなものになるでしょう：理論的にはこれは問題にはならないが、Rを基準に上保持している場合、その後、H2Oがあまりにも意志

for (k in 1:nrow(par.grid)) { 
    hg = h2o.gbm(...stuff..., 
      model_id = p(iname, "_gbm_CV") 
      ) 
    cv_result[k,1] = h2o.mse(hg, train=TRUE) 
    cv_result[k,2] = h2o.mse(hg, valid=TRUE) 
    h2o.rm(hg);rm(hg);gc() 
} 

。

さらに詳しいモデルを調べて、ローカルディスク領域が十分にあると思われる場合は、h2o.mse()が呼び出される前にh2o.saveModel()を実行することができます。 （あなたはもちろん、何とかすべてのパラメータをまとめたファイル名を指定する必要があります...）コメントに基づいて

UPDATE：あなたが任意のモデルやデータを保持する必要がない場合は、その後、h2o.removeAll()を使用すると、別のありますすべてのメモリをすばやく再利用する方法。 （この方法は、のデータやモデルがに保存されている必要がある場合には、検討する価値があります）