Cでメモリマッピングを使用してバイナリファイルを読み取る

Question

非常に大きなバイナリファイルを処理する際に、Cでメモリマッピングを使用するとfreadと比較して違いはありますか？たとえ小さな違いがあっても、それは良いでしょう。そして、プロセスが大規模なバイナリファイルでメモリマッピングを使用し、そこからデータを抽出する方法を知っているのであれば、

ありがとうございます！

Answer 1

ファイル全体を読み終えたら、最も重要なことはプラットフォームにこれを知らせることです。これにより、先読みを積極的に実行できるようになり、とにかく再度読み取られないデータでキャッシュを汚染することを避けることができます。これは、メモリマッピングでも、それなしでも可能です。キー機能はposix_fadviseとposix_madviseです。

ランダムで小さなアクセスがある場合、メモリマッピングは大きなメリットです。これは、同じページへの複数の書き込みがある場合に特に当てはまります。メモリマッピングがなければ、各読み取りまたは書き込みにはユーザー/カーネルの移行とコピーが必要です。メモリマッピングでは、ほとんどの操作では対応しません。

ただし、順次アクセスでは、すべてが保存されます。奇妙なことに、ユーザー/カーネルの移行はさらに悪化する可能性があります。大規模な順次読み取りでは、読み取りごとに1つのユーザー/カーネルの遷移が発生します。読み取りが大きい場合は256KBになります。メモリマップされたファイルへの大きな順次アクセスでは、すべてのページ（4KB）に障害が発生する可能性があります。カーネルの「フォールト・アヘッド」最適化に依存します。

ただし、メモリマッピングでは、コピーを保存する必要はありません。何らかの理由でマッピングされたページをコピーアウトする必要がある場合は、readオペレーションでそれらをコピーしてあなたのために置くこともできます。しかし、その場でデータを操作することができれば、メモリマッピングが勝つかもしれません。

一般的に、人々はそれがそうであると思う傾向があるので、それほど大きな違いはありません。特にディスクがどれくらい遅いかをこのすべてのものと比較して考えると、