Pythonのhashlibとスパースファイル

Question

私は、python hashlibライブラリがスパースファイルをどのように処理するのか知りたかったのです。ファイルにゼロブロックがたくさんある場合、ゼロブロックを読み取ってCPUとメモリを浪費するのではなく、inodeブロックマップをスキャンし、割り当てられたブロックのみを読み取ってハッシュを計算するような最適化を行いますか？

もしそれがすでに行われていないのであれば、自分でそれを行うにはどうすればよいでしょうか。

PS：この質問をStackOverflow Metaに投稿することは適切ではないでしょうか。

ありがとうございました。

Answer 1

hashlibモジュールはファイルでも機能しません。データを読み込んでブロックをハッシングオブジェクトに渡す必要があるので、なぜそれがまったくまばらなファイルを処理するのか分かりません。

I/Oレイヤーはスパースファイルでは特別な処理を行いませんが、これはOSの仕事です。ファイルがまばらであることが分かっている場合、 "読み取り"操作はI/Oを行う必要はなく、I/Oなしのゼロでバッファを埋めるだけです。