120 MBのCSVファイルのString.Split（）に.NET System.OutOfMemoryExceptionがあります

Question

〜120 MBのプレーンテキストのCSVファイルを読み込むためにC＃を使用しています。当初、私は行ごとにそれを読むことによって解析しましたが、最近、ファイルの内容全体をメモリに最初に読み込むことは、何倍も高速でした。 CSVにはカンマが引用符で埋め込まれているため、解析はすでにかなり遅いです。つまり、正規表現の分割を使用する必要があります。私はそれぞれの行を含む配列を取得するには、改行文字の文字列分割を行い、メモリに全体の内容を読んだ後、解析を行うために

string[] fields = Regex.Split(line, 
@",(?!(?<=(?:^|,)\s*\x22(?:[^\x22]|\x22\x22|\\\x22)*,) 
(?:[^\x22]|\x22\x22|\\\x22)*\x22\s*(?:,|$))"); 
// from http://regexlib.com/REDetails.aspx?regexp_id=621 

：これは確実に動作します私が見つけた唯一のものです。しかし、120 MBのファイルでこれを行うと、System.OutOfMemoryExceptionが得られます。コンピュータに4GBのRAMが搭載されていると、メモリが急激に使い果たされるのはなぜですか？複雑なCSVをすばやく解析するためのより良い方法はありますか？

Answer 1

基本的に任意のサイズの割り当てに対してOutOfMemoryExceptionを取得できます。あなたが本当に要求されたサイズの連続したメモリを要求しているメモリの一部を割り当てるとき。それが尊重できない場合は、OutOfMemoryExceptionが表示されます。

また、64ビットWindowsを実行していない限り、4 GBのRAMは2 GBのカーネルスペースと2 GBのユーザースペースに分割されるため、.NETアプリケーションはデフォルトあたり2 GB以上アクセスできません。

.NETで文字列演算を実行すると、.NET文字列が不変であるために一時的な文字列が多数作成される危険性があります。したがって、メモリ使用率が大幅に上昇することがあります。

Answer 2

多くの連続したメモリを持つ単一のオブジェクトを割り当てることはできないかもしれません。ストリーミングはこれを行う普通の方法ですが、それは遅いかもしれません（通常はそれほど遅くならないとは思いますが）。

妥協案として、ファイル全体の一部ではなく、StreamReader.ReadBlock()のような機能を持ち、順番に各部分を処理します。

Answer 3

CLR profilerを実際に使用してください。システムRAM以外のメモリ制限がある可能性があります。たとえば、これがIISアプリケーションの場合、メモリはアプリケーションプールによって制限されます。

このプロファイル情報を使用すると、最初に試みたCSVファイルのストリーミングなど、よりスケーラブルな手法を使用する必要があることがあります。

Answer 4

ファイル全体が文字列に読み込まれている場合は、おそらくStringReaderを使用してください。

StringReader reader = new StringReader(fileContents); 
string line; 
while ((line = reader.ReadLine()) != null) { 
    // Process line 
} 

これは、コンテンツがすでにメモリにあるという違いを持つファイルからのストリーミングとほぼ同じです。

編集

をテストした後、処理はline.Lengthと長さ変数をインクリメントから成って140メガバイトのファイルと上記試みました。これは私のコンピュータで約1.6秒かかった。この後私は以下を試した：

System.IO.StreamReader reader = new StreamReader("D:\\test.txt"); 
long length = 0; 
string line; 
while ((line = reader.ReadLine()) != null) 
    length += line.Length; 

結果は約1秒であった。

もちろん、ネットワークドライブから読み取っている場合や、処理がハードドライブが別の場所を探すのに十分な時間がかかる場合は、マイレージが異なる場合があります。しかし、FileStreamを使用してファイルを読み込んでいて、バッファリングしていない場合も同様です。 StreamReaderは、読み上げを大幅に向上させるバッファリングを提供します。

Answer 5

必要がない限り、独自のパーサをロールしないでください。あなたはボンネットの下に見て、他の誰かがそれをしない方法を見ることができます何もない場合は

A Fast CSV Reader

：私はこの1つで運を持っていました。

Answer 6

ヒープではなくスタック上のメモリが不足しています。

一度に120MBを処理するのではなく、より管理しやすい "チャンク（chunk）"データで入力を処理するように、アプリケーションの再調整を試みることができます。

Answer 7

他のポスターと同様に、OutOfMemoryは、要求されたサイズの連続したメモリチャンクを見つけることができないためです。

しかし、行ごとに解析するのは、一度にすべてを読み取ってから処理するよりも数倍速いと言います。

while(! file.eof()) 
{ 
    string line = file.ReadLine(); 
    ProcessLine(line); 
} 

あなたが代わりにあなたのストリームが書き込み（によって記入されたストリーミングを、使用する必要がありますが）、代替から呼び出す：あなたは（擬似コードで）ブロッキングを行うことは例えば、読み込みの単純なアプローチを追求した場合にのみ意味がありますあなたのProcessLine（）が何をしても読み込まれたファイルはブロックされません。その逆もあります。これは、ファイル全体を一度に読み取ってから処理を実行することと並行して行う必要があります。

Answer 8

私はここでほとんどの皆さんに同意します。ストリーミングを使用する必要があります。

これまでに誰かが言っているかどうかはわかりませんが、あなたはexstentionメソッドを見てください。

そして、私は、確かに、ダウン手、.NET/CLR上で最高のCSV分割手法は、その技術が私を生成 this one

知っている+ 10ギガバイトのXML出力のexstensive入力フィルタとすべてを含む入力CSV、から、私が見た他の何ものよりも速く。

Answer 9

チャンクをバッファに読み込んで処理する必要があります。その後、別のチャンクなどを読んでください。

これを効率的に実行するライブラリが多数あります。私はCsvHelperと呼ばれるものを維持しています。カンマや行末がフィールドの途中にある場合など、扱う必要があるエッジケースが数多くあります。