データが完全に読み取るには大きすぎる場合、HDF5形式ファイルのデータを部分的に読み取る方法

Question

私は科学的研究目的でHDF5形式のデータを分析しています。私はPythonのh5pyライブラリを使用しています。

ここでは、読みたいHDFファイルが非常に大きいです。そのファイルサイズは約20GBで、そのデータの主要部分は400000 * 10000浮動小数点数です。私は一度データを読み込もうとしましたが、私の開発環境Spyderはメモリ不足のために強制終了しました。それから部分的にそれを読んでこの問題を避ける方法はありますか？

Answer 1

numpy配列のようなh5pyデータセットをスライスすることができます。そのため、データセット全体ではなく複数のサブセット（例：4 100000 * 10000サブセット）で作業できます。