チャンクされたHDF5データセットとスラブサイズ

Question

チャンクデータセットに関するHDF5のパフォーマンスを評価しています。 特に、連続した異なるチャンクを読み込むことが可能かどうか、パフォーマンスがその影響をどのように受けているかを把握しようとしていますか？ など。チャンクサイズが10のデータセット、100の値を持つデータセットがあり、23〜48の値を読み取る必要があります。パフォーマンスが大幅に低下しますか？

多くの感謝！

Answer 1

あなたの質問に具体的に答える方法はわかりませんが、1024のチャンクサイズ（またはそれ以上の2の累乗）を使用することをお勧めします。私はHDF5の内部を知りませんが、ファイルシステムに関する私の知識と私たちが行った大まかなベンチマークから、1024は正しいものでした。