h5pyはファイル全体をメモリに読み込みますか？

Question

h5pyはファイル全体をメモリに読み込みますか？

もしそうなら、私は非常に大きなファイルを持っていますか？

もしそうでなければ、1つのデータが必要なたびにハードディスクからデータを取り込むとかなり遅くなりますか？どうすれば速くすることができますか？

Answer 1

h5pyはファイル全体をメモリに読み込みますか？

いいえ、そうではありません。特に、スライシング（dataset[50:100]）を使用すると、データセットの一部をメモリに読み込むことができます。詳細は、h5py docsを参照してください。

もしそうでなければ、1つのデータが必要なたびにハードディスクからデータを取り込むとかなり遅くなりますか？

一般に、hdf5は非常に高速です。しかし、メモリからの読み取りは明らかにディスクからの読み取りよりも高速です。どのくらいのデータセットがメモリに読み込まれるかはあなたの判断です（dataset[:]はデータセット全体を読み込みます）。

どうすれば速くすることができますか？

あなたは、パフォーマンスを最適化するために気にしている場合は、と圧縮をチャンクについてsectionsをお読みください。これらのことを詳しく説明しているbookもあります（免責事項：私は著者ではありません）。