MATLABでネストされたセルとして大量のデータが格納されているメモリの問題

Question

.matファイルにネストされたセルとして大量のデータが格納されています。私の最大の問題は、現在、これらのファイルにアクセスするための読み込み時間ですが、根本的な問題は私がデータを格納するための非効率的な方法を思いついたと思っています。

完全なファイルは、セルARAYで構成されています：85のnのバージョンとp

.Variableの〜100バージョンまでがあるh

.{n,p}の52のバージョンが存在する

Hemi{1,h}ここには〜2500個の値を持つ10個の変数があります

このフルファイルは、私は別名、部品にそれを保存：

Hemi1.mat=Hemi{1,1} Hemi2.mat=Hemi{1,2}

を等

このアプリケーションの次のステップは、各ファイルをロードし、適切な解決策であることの一部を決定することである（私は必要Hemi{1,h}.{n,p}.Var1,Hemi{1,h}.{n,p}.Var2、Hemi{1,h}.{n,p}.Var3）、ソリューションを保存してからファイルを閉じて次の変数に移動する必要があります。

1. これらのファイルを高速に読み込む方法はありますか？
2. 問題は私のデータセットより少なく、私はそれをどのように保存するのですか？よりよい選択肢がありますか？

Answer 1

これはかなりのデータです。私はあなたが見ることができるいくつかの提案があります。最初は、データ型をCategorical Objectsのように変更できるかどうかを確認することです。彼らはもっとメモリ効率が良い方法です。また、最終的なデータとして文字列を格納する場合、これはかなり重いストレージ賢明かもしれません。

次に、HDF5 file storageを調べることができます。私はそれが構造化されたデータを保存する良い方法だと聞いています。

最後に{n、p}配列をテーブル構造に変換しようとする可能性があります。私はこれが記憶にとってより良いのかどうかはわかりませんが、テーブルはうまく働いていて、あなたを助けるかもしれません。 （Matlabのバージョンによってはテーブルがないかもしれません：P）。

こちらがお役に立てば幸いです。

-kyle