HDF5ストレージオーバーヘッド

Question

私はHDF5ファイルに多数の小さなデータセットを書きます。その結果のファイルサイズは、入れているデータの素朴な表から予想されるものの約10倍です。私のデータは階層的に編成されています

group 0 
    -> subgroup 0 
     -> dataset (dimensions: 100 x 4, datatype: float) 
     -> dataset (dimensions: 100, datatype: float) 
    -> subgroup 1 
     -> dataset (dimensions: 100 x 4, datatype: float) 
     -> dataset (dimensions: 100, datatype: float) 
    ... 
group 1 
... 

各サブグループは、オーバーヘッドを無視して500×4バイト= 2000バイトを占める必要があります。私はデータと一緒に何かの属性を保存しません。しかし、テストでは、各サブグループが約4kB、つまり私が期待する約2倍を占めることがわかりました。私はいくつかのオーバーヘッドがあることを理解していますが、どこから来ていますか、どのように減らすことができますか？それはグループの構造を表すことにありますか？

詳細情報： 各サブグループの2つのデータセットのサイズを1000 x 4および1000に増やした場合、各サブグループは予想通りの20,000バイトではなく、約22,250バイトを占めます。これは、サブグループごとに2.2 kBのオーバーヘッドを意味し、より小さいデータセットサイズで得られた結果と一致しています。このオーバーヘッドを減らす方法はありますか？

Answer 1

私は自分の質問に答えます。グループ構造を表すだけのオーバヘッドで十分です。小さな配列を格納することや、少量のデータしか格納しないグループを多数持つことは意味がありません。グループあたりのオーバーヘッドを減らす方法はないようで、約2.2 kBで測定しました。

この問題は、各サブグループの2つのデータセットを組み合わせて（100 x 5）データセットにすることで解決しました。次に、サブグループを削除し、各グループのすべてのデータセットを3Dデータセットに結合しました。したがって、以前にN個のサブグループがあった場合、それぞれのグループに1つのデータセットがあり、形状（N×100×5）になりました。したがって、以前に存在していたN * 2.2 kBのオーバーヘッドを節約することができます。さらに、HDF5のビルトイン圧縮はより大きなアレイでより効果的であるため、以前はオーバーヘッドがファイルの半分を占め、圧縮は完全に無効でしたが、全体のパッチング比は1：1より優れています。

教訓は、HDF5ファイルの複雑なグループ構造を避け、可能な限り多くのデータを各データセットに結合しようとすることです。