Rで1000万回のブートストラップ複製を計算したいのですが、私のマシンに十分なメモリがあるわけではありません(128 GB)。1000万回の複製でブートストラップ - 十分なメモリがありません
は今のところ、私は複数のコアを超えるboot
を使用して、これをやっている:
boot_data <- boot(data=data, statistic=correlation_fn, R=10^7,
parallel="multicore", ncpus=10)
でも任意の子プロセスの前でもhtop
で監視することで、計算がメモリ不足(計算を開始:
mcfork()のエラー:
考えられる理由:メモリを割り当てることができません
コール:cor_boot_wrap - >ブーツ - > - > lapply - > FUN - > mcfork
執行停止
警告メッセージ:
システムコールが失敗しました:割り当てることができませんメモリ
メモリマップ(おそらくbigmemory
またはff
)でこれを行う別の方法がありますか?この問題は、メモリを増やした別のマシンを使用することで簡単に解決できますが、これは私の選択肢ではありません。
最終的には、信頼区間を計算するためにboot.ci(boot_data, type="bca")
を使用しています。したがって、どの中間メソッドもこれと互換性がある必要があります。
実際にどのような分析をしていて、実際に1000万のサンプルが必要ですか? –
これを行うことは可能かもしれませんが、再現可能な例がなければ、私たちがあなたを助けることはあまりありません。しかし、最初にこれを並列化せずにテストし、メモリ要求を外挿するために、nを少しずつ増やして試してください。 – Roland
良いアイデア、私は再現性のある分析に取り組み、質問を修正します。 –