空きメモリが少ない場合にのみデータをディスクにスワップする書き込みキャッシュを実装する方法

Question

私のアプリケーションで生成されたデータをメモリにキャッシュしたいが、メモリが不足する場合は、データをディスクにスワップしたい。

理想的には、VMがメモリを必要とし、データをディスクに書き込み、メモリを解放することが理想です。しかし私はの前にのOutOfMemoryErrorがどこかで（ほとんどの場合、どのような方法でもキャッシュに関係しないコードで）発生することを通知する方法で自分自身をVMにフックする方法はありません。

java.lang.refの参照クラスは、この場合には使用されていないようですが、その参照メカニズム（ReferenceQueue）は、GCによって参照がすでに再要求された後にのみトリガーされます。それでは、データをディスクに保存するのは遅すぎるでしょう。

ヒープメモリを効率的に管理するための代替手段はありますか？ （絶対に避けられないまで、ディスクにスワップしていない）

---

EDIT1：コメントへの応答では、「OSが既にあなたのためのことを行います」 - メモリOSの量 - これが唯一の問題の一部を覆います割り当てることができるは、限定リソースですです。ここで考慮される必要があるOSが使用できるメモリの量以外の制限もあります

• VMのアーキテクチャによる制限（32-Bit VM）
• に割り当てることのできるメモリの上限VMのプロセスは、（32-Bit OS）
• 制限は、おそらく場合でも、メモリ不足からそれを防ぐことはできませんだけで無制限のヒープサイズでVMを実行している-Xmxオプション

を使用してVMに課さOS依然として十分な利用可能性がありますが、これは上記の理由でVMに利用できない可能性があります。

Answer 1

空きメモリーを繰り返し確認するスレッドを作成して、制限を超えた場合に動作します。

Answer 2

利用可能な空きメモリを監視し、それに応じて動作するAPI呼び出しを使用することをお勧めします。

this questionを参照して、JVMで使用可能な空きメモリの量を監視する方法を参照してください。

Answer 3

私は内部データベースを使用します（開発のために、Derbyは選択した味に置き換えることを心に留めています）。通常、これらの機能はすでに組み込まれており、キャッシュに保持するデータベースの量を設定できます。

Answer 4

純粋なJavaでこれを行うのは非常に難しいことです。これは、あなたがすでにヒントしている理由によるものです。

• GCがでキックする前に、ヒープがほぼ満杯になるのをあなたは空きメモリが利用可能本当にどのくらいかを決定することができます唯一の方法は、GCを行うことです（とそうでないので、それは、非常に正常ですあまりにも頻繁にそれをしたい）。あなたは、Permanentが80％いっぱいになったときにGCが起きるようにCMSInitiatingOccupancyFractionオプションを使うことができます。管理APIから返された "空きメモリ"の値がおそらくほぼ正しいでしょう（値> 80％の場合） 。もちろん保証はありません。

• 前述のとおり、ソフトリファレンスはコレクタによって自動的にクリアされてから登録されたキューに追加されるため、ここでは特に役に立ちません。 ダミーのSoftReferenceを作成し、そのエンキューをメモリ不足の兆候として使用します。しかし、タイミングについてはわかりません.JVMのメモリが足りなくなる前にすべてのデータをディスクにダンプすることは保証できますか？おそらくそうではありません。

それは特定のサイズ、例えばに達したときに、あなたが代わりにディスクにキャッシュをフラッシュでしたそれが500MBを超えたら、それをフラッシュしてください？

プライベートマッピングを持つMappedByteBufferを使用できますか？データはディスクにフラッシュされません。私が正しく覚えていれば、あなたが書いたデータは、少なくともヒープの "直接"メモリ（少なくともLinuxでは）に格納されているので、ヒープを消費することはありませんが、それを確認してください。 RAMが使い尽くされたら、もちろんスワップを使い始めるでしょう。

Answer 5

メモリマップファイルの使用を検討しましたか？ http://en.wikipedia.org/wiki/Memory-mapped_file

これは、VMに割り当てられたメモリよりも大きなメモリにアクセスできないという問題を解決します。