MATLABで大きなファイル（〜150MB）を読み込むにはどうしたらいいですか？

Question

私は、マトリックス形式の大きなMATLABファイル（150MB）（つまり、4070x4070）を持っています。私はこのファイルをMATLABで作業する必要がありますが、このファイルをロードできないようです。私は "メモリ不足"エラーが発生しています。このサイズのファイルをロードできる方法はありますか？私は32ビットプロセッサを使用しており、2GBのRAMを持っています。助けてください、私はこの問題に対処することから疲れています。

Answer 1

画像ファイルで、操作したい場合は、matlab block processingをお試しください。これを使用すると、ファイルの小さな部分を読み込むことになります。あなたの関数funは各ブロックに個別に適用されます。 （それを指摘するために@Nzbuuのおかげで）、それは文書化されていない機能のようです - 場合

B = blockproc(src_filename,[M N],fun) 

それはxmlファイルがある、SAXと一緒XML DOM Nodeモードを試してみてください。

また、あらゆる種類のテキストファイル（おそらくデータ量のため）の場合は、分割する外部ツールを試してください。

Answer 2

リリースR2011b（ver.7.13）より新しいオブジェクトmatlab.io.MatFileとMATFILEがコンストラクタとして追加されました。 MAT-ファイル内の変数の一部を読み込んで保存することができます。詳細は、ドキュメントを参照してください。ここでは、マトリックスの一部を読み込むための簡単な例です：

matObj = matfile(filename); 
a = matObj.a(100:500, 200:600); 

元のファイルは、MATファイルが、いくつかのテキストファイルでない場合は、部分的にそれを読んで、同じ変数にそれらの部品を保存するためにmatfileを使用することができます後でアクセスできるようにMATファイルに保存します。コンストラクタでWritableプロパティをtrueに設定することを忘れないでください。ここでは、テキストファイルをタブ区切りであり、唯一の番号が含まれていると仮定すると、

は、ブロック単位でデータを読み取り、MATファイルに保存するためのサンプルスクリプトです：

blocksize = 100; 
startrow = 0; 
filename = 'test.mat'; 
matObj = matfile(filename,'Writable',true); 
while true 
    try 
     a = dlmread(filename,'\t',startrow,0); %# depends on your file format 
     startrow = startrow + blocksize; 
     matObj.a(startrow+(1:blocksize),:) = a; 
    catch 
     break 
    end 
end 

私は最新のリリースを持っていません今テストするが、うまくいくと思う。

Answer 3

また、ファイル全体を一度にメモリにロードすることなく、ファイルのブロックを読み込んで処理し、次のブロックに進むこともできます。

たとえば、「100倍の倍精度浮動小数点数のファイルをメモリにマップする」this exampleを参照してください。