なぜTstringlist.LoadFromfileはかなりのサイズのファイルをロードできませんか？

Question

32ビット版8GBメモリを搭載したWin 10システムでコンパイルする。 Tstringlist.Loadfromfileを使用して150MBのASCIIファイルをロードしようと

は

1200Mbをレポートタスクマネージャで「メモリ不足エラー」に使用できます。でも、ユニコードの50％の冗長性を持つ

は非効率のそのレベルを説明することはできません！

何が起こっているのですか？

例コード。

unit Unit3; 

interface 

uses 
    Winapi.Windows, Winapi.Messages, System.SysUtils, System.Variants, System.Classes, Vcl.Graphics, 
    Vcl.Controls, Vcl.Forms, Vcl.Dialogs, Vcl.StdCtrls; 

type 
    TForm3 = class(TForm) 
    OpenDialog1: TOpenDialog; 
    Button1: TButton; 
    procedure Button1Click(Sender: TObject); 
    private 
    { Private declarations } 
    public 
    { Public declarations } 
    end; 

var 
    Form3: TForm3; 

implementation 

{$R *.dfm} 

procedure TForm3.Button1Click(Sender: TObject); 
var f:tstringlist; 
begin 
    if opendialog1.Execute then 
    begin 
    f:=Tstringlist.create; 
    try 
     f.Loadfromfile(Opendialog1.Filename); 
    finally 
     f.free 
    end 
    end; 
end; 

end. 

要求されたとして、以下のファイルからいくつかのrepresentitiveテキストが....

AcDbPolyline 
90 
5 
70 
0 
10 
100091.01 
20 
59019.75 
10 
100077.39 
20 
59001.49 
10 
100070.7 
20 
58974.72 
10 
100066.85 
20 
58942.73 
10 
100065.12 
20 
58920.69 
    0 
LWPOLYLINE 
    5 

メモ帳++ 27万行を持つものとして、ファイルを報告します。

Answer 1

各文字列は別々のヒープ割り当てが必要です。各ヒープ割り当ては、メモリのブロックを生成するが、メモリマネージャによって使用されるいくつかのメタデータも生成する。さらに、文字列には独自のメタデータ、参照カウント、および長さがあります。

あなたのファイルが非常に短い線の多くが含まれている場合は、メタデータを簡単に支配することができます。極端な場合、単一の文字列は20バイト以上を簡単に消費する可能性があります。私の頭の上から、私は実際のオーバーヘッドの数字を知らないので、これは推測です。非常に短い線で

は、文字列がたくさんあるでしょう。文字列リストが所有するポインタの配列自体は非常に大きくなる可能性があります。また、メモリのサイズを変更して割り当てを行うと、断片化が発生する可能性があります。あなたは2700万行があると言います。 1行に2つのポインタがあり、文字列とその関連オブジェクトはそれぞれ200MB以上です。すべてTStringListで

すべてはあなたの仕事のための間違ったタイプです。文字列リーダーオブジェクトを使用して、行単位でファイルを読み込むことをお勧めします。テキストエディタのように、ファイル全体をメモリにロードし、専用の型を使用して行をオフセットにマップすることもできます。実際、テキストエディタは通常、アドレス空間の危機を避けるためにメモリマッピングを使用します。ファイルを使って何をしたいのか分からずに、推薦をするのは難しいですが、あなたの現在のアプローチに未来がない理由を理解するのを助けてくれることを願っています。