共有されたmmapファイルを管理するためのライブラリまたはツール

Question

免責事項：これは私が探しているものを見つけることができないため、おそらく研究の質問です。

問題：私は、それぞれ0.01MBから約10.0MBの間の100Kから10Mのファイルを読み込む必要のあるカスタム検索アプリケーションを持っています。各ファイルにはmmap経由で配列として直接ロードできる1つの配列が含まれています。私は、必要になる前にRAMにファイルをプリフェッチするためのソリューションを探しています。システムメモリがいっぱいであれば、すでに処理されたものを取り出します。

これは、OSのメモリ管理とmemcachedのようなものがよく似ています。私が実際に探しているのは、キーの文字列や値を返さないmemcachedのようなものですが、選択した配列の先頭のアドレスです。さらに、（これは別の話題ですが）NUMAマシンでCPUコアとRAMの距離が最短になるように共有メモリを管理したいと考えています。

私の質問です：「このようなツール/ライブラリは既に存在しますか？」

Answer 1

ご質問はthis one

に関連している私は、あなたがライブラリを見つける必要があるかわかりません。システムコールを効率的に使用する方法を理解する必要があります。

readaheadシステムコールがお役に立てると思います。

Answer 2

実際には、多くのファイルがあります（あまりにも多くのファイルがあります）。私はあなたのファイルシステムが十分であること、あるいは多くのディレクトリにあることを願っています。適切に調整されなければ、何百万ものファイルが懸念されるかもしれません（しかし、私はこれについて助けてくれません）。

あなたのアプリケーションであるかどうか分かりませんが、&はそのファイルを多く読み取ります。おそらく、DBMS（PostGresQLまたはMySQLなど）に切り替えることを検討してください。おそらくGDBMを使用することもできます。

Answer 3

検索エンジンの種類のアプリケーションでこれをやったことがあります。これは、ファイルIDとメモリアドレスIIRCによって（ハッシュテーブルを介して）アドレス指定可能なLRUチェーンを使用していました。すべてのアクセスで、のホットアイテムがLRUチェーンのヘッドに再配置されました。メモリが逼迫したとき（mmap はが失敗する...）、LRUチェーンの末尾はマップされていませんでした。

このスキームの落とし穴は、プログラムがページフォールトでブロックされる可能性があることです。シングルスレッドだったので、が本当ににブロックされました。これをマルチスレッドアーキテクチャに変更するには、ハッシュおよびLRU構造をロックおよびセマフォで保護する必要があります。

その後、私はダブルバッファリングを実行していることに気付きました。OS自体には完璧なLRUディスクバッファーメカニズムがありますが、これはおそらくよりスマートです。リクエストごとに1つのファイルをopen（）またはmmap（）するだけで、1つのsytemcall離れて、（最近のアクティビティでは）バッファリングレイヤと同じ速さ、またはさらに高速です。

wrt DBMS：DBMSを使用するのはクリーンな設計ですが、データの最初のブロックを取得するだけで最小3つのシステムコールのオーバーヘッドがあります。そしてそれは確かに（常に）のブロックになります。しかし、それはマルチスレッド設計には合理的に役立ち、ロックやバッファ管理の苦痛から解放されます。