高容量ロガーアプリケーションにはどのような割り当て方法を使用しますか？

Question

私はDelphiを使ってロガー/スニファを開発しています。操作中にデータが大量に失われ、ストレス操作中に約3GBのデータに蓄積される可能性があります。 これらのレベルに到達した特定のコンピュータでは、アプリケーションが機能しなくなり、例外がスローされることがあります。

現在、私はGetMem関数を使用して各メッセージにポインタを割り当てています。

私は失敗の可能性を最小限に抑えるためにメモリを割り当てるより良い方法はありますか？私はハード限界にサイズを制限することはできませんことを覚えておいてください。

HeapAlloc、VirtualAlloc、またはマップされたファイルの使用についてどう思いますか？どちらが良いでしょうか？

ありがとうございます。

Answer 1

基本的な問題は、32ビットプロセスでは4GBのハードアドレス空間の制限です。 3GBで問題が発生しているので、私は、/LARGEADDRESSAWAREは64ビットWindowsで、32ビットWindowsでは/ 3GBブートスイッチを使用していると仮定しています。

私はあなたが以下を含むがこれらに限定されないいくつかのオプションを持っていると思う：

1. 少ないメモリを使用してください。おそらく、小さなチャンクで処理したり、メモリの一部をディスクにプッシュしたりすることができます。
2. 64ビットDelphi（リリース済み）またはFreePascalを使用します。これにより、アドレス空間の制約が緩和されますが、Windowsの64ビットバージョンに制限されます。
3. メモリマップファイルを使用します。多くのメモリを持つマシンでは、これはOSメモリキャッシュへのアクセス方法です。メモリマップされたファイルは、かすかな心のためではありません。

あなたのアーキテクチャはわかりませんが、私の経験では、メモリフットプリントを減らすことがしばしば最適な解決策です。

異なるアロケータを使用すると、ほとんど違いはありません。はい、断片化の少ないアロケータがあることは間違いありませんが、本当にあなたの問題を解決することはできません。彼らができることは、発生する可能性はやや低くなります。