HDF5とcPickleを使用してイメージを保存すると、同じ量のイメージファイルをディスクに直接保存するだけの場合よりもはるかに多くのディスクメモリを使用できますか？

Question

大量の画像を保存しようとしています。私はできるだけ少ないディスクメモリを必要とするフォーマットでそれらを保存したい。私はPythonでHDF5とcPickleでテストしました。驚いたことに、私は、PyTablesとcPickleで生成されたデータファイルのサイズが、同じ量の画像を含むフォルダよりもはるかに大きいことに気付きました。

私のコードはここにある：

import cv2 
import copy 
import cPickle as pickle 
import tables 
import numpy as np 
image = cv2.imread("aloel.jpg") 
images = [] 
for i in xrange(1000): 
    images.append(copy.deepcopy(image)) 
images = np.asarray(images, dtype=np.uint8) 
hdf5_path = "img.hdf5" 
filters = tables.Filters(complevel=5, complib='blosc') 
with tables.open_file(hdf5_path, mode='w', filters=filters) as hdf5_file: 
    data_storage = hdf5_file.create_array(hdf5_file.root, 'data', obj=images) 

with open('img.pickle', 'wb') as f: 
    pickle.dump(images, f, protocol=pickle.HIGHEST_PROTOCOL) 

aloel.jpgの1000個のコピーを含むフォルダは、61.5メガバイトを消費しますが、img.hdf5とimg.pickleサイズは両方1.3ギガバイトです。

これはなぜ発生するのでしょうか？この場合、画像データをピクルスファイルまたはhdf5ファイルに保存するのではなく、個々の画像ファイルに直接保存する方がよいでしょうか？

Answer 1

更新： 問題は圧縮が全く適用されないことです。まず、チャンクを作成する必要があります。これは、「create_array」を「create_carray」に置き換えることで実現できます。次に、 "zlib"を補完5で適用すると、すでに改善が見られるはずです。この特定のケースでは、もちろん、繰り返されるデータ軸に沿ってチャンクを設定するのが理にかなっているので、chunkshape=[100,100,100,3]のようなものをcreate_carrayコマンドに追加すると大きな変化が見られるはずです。

Jpegは、高効率なロッシー圧縮アルゴリズムです。 Bloscはスピードに最適化されており、デフォルトでピクルスは圧縮されません。 HDF5の他のオプションもあります。https://support.hdfgroup.org/services/filters.htmlをご覧ください。オリジナルのjpegに近い方法が見つかると思います。