Rでは大きなデータを素早く読み込むためのパッケージ

Question

通常、データはRAMにロードされます。 任意のディスクにデータをロードしたパッケージではなく、RAM

Answer 1

はありますbigtabulate、bigalgebra、biganalytics、などのような関連のパッケージと一緒に、bigmemoryパッケージをチェックしてください。 ffもありますが、bigmemoryスイートのようにユーザーフレンドリーではありません。 bigmemoryスイートは、ffの使用の難しさによって部分的に動機づけられたと報告されています。私はそれが好きです。なぜなら、bigmatrixオブジェクトにアクセスするには、自分のコードにほとんど変更を加える必要がなかったからです。標準の行列とほぼ同じ方法で操作できるため、コードは再利用可能です。

RNetCDFとncdfのようなパッケージでNetCDF4経由のHDF5もサポートされています。これは、大規模なデータセットの効率的な保存とアクセスのための、一般的なマルチプラットフォーム、マルチ言語の方法です。

基本的なメモリマッピング機能が必要な場合は、mmapパッケージを参照してください。

Answer 2

はい、ffパッケージで対応できます。

詳細はTask View on High-Performance Computingをご覧ください。