アプリケーション層のプリフェッチシステムを構築する方法

Question

私は以下のような状況のC/C++混在プロジェクトで作業しています。

非常に小さなチャンク（まれに大きなチャンクも同様です）を1つずつ順番に処理する必要があります。理想的には、私はそれらを一度連続して読むべきです。このケースでは、大きなチャンクをバッファに読み込んで後で消費する方が、必要なときに即座にそれぞれを読み込むよりも、より良い解決策になると思います。

問題は、どのようにキャッシュサイズのバランスをとるかです。私が利用できる既知のアルゴリズム/ライブラリはありますか？

---

UPDATEは：君たち返信用

おかげで（タイトルを変更する）と私はボックスで働いキャッシュメカニズムの異なるレベルがあります理解しています。しかし、私の場合は十分ではありません。

私はここで重要なことを忘れたと思います。実際には、エンジンへの読み込みを要求することは私にとってあまりにもコストがかかる既存のフレームワーク上にアプリケーションを構築しています。 （はい、私はエンジンがOSとディスクレベルのキャッシュを利用すると信じています）。そして、私がしようとしているのは確かにアプリケーションレベルのプリフェッチシステムを構築することです。

思考？

Answer 1

一般に、（キャッシュを2回実行するリスクがあるため）独自のキャッシュを作成するのではなく、OSが提供するものを使用するようにしてください。 Linuxの場合は、readahead()でOSレベルのキャッシュを要求することができます。私は窓が同等であるかどうかわからない。

ブロックレベル（つまりディスク）パラメータもあり、blockdev --setraで設定します。あなたのシステム上でそれを変更するのは良い考えではないでしょう（ただし、この1つのタスクに専念している場合を除きます）、そこにある値（blockdev -getra）が通常のチャンクサイズよりも大きい場合は、他に何か。

[また、質問のコメントに記載されている他の点に対処するために、OSはファイルデータを空きメモリにキャッシュしますが、未読ファイルを先読みするとは思いません上記の要件）。誰か他の人が知っている場合は、詳細を投稿してください...]

Answer 2

read()の代わりにmmap()ファイルを送信しようとしましたか？場合によっては、これはより効率的な場合もあり、場合によってはそうでない場合もあります。ただし、アプリケーションよりもハードウェアのことが分かっているため、通常はシステムを最適化することをお勧めします。 mmap()は、ファイル全体が必要であることをシステムに知らせるので、より最適になるかもしれません。