h5pyでgzip圧縮を高速化するにはどうすればよいですか？

Question

私はh5f5を使ってhdf5にmp4ビデオのフレームを保存しようとしています。最初は、単にデータを圧縮しないようにしました。これにより、5000 MBのビデオがhdf5に格納されたときに約500 GBになりました。データセットを管理しやすくするためにgzip圧縮を試していますが、圧縮を使用するとビデオの1フレームを保存するのに約1分かかります。ここでは、最小限のコード例では、

import h5py 
hdf5 = h5py.File(file, mode='a') 
dset = hdf5.create_dataset(dset_name, shape=(70000, 1080, 1920, 3), 
    dtype=np.uint8, chunks=True, compression='gzip') 

for i, frame in enumerate(video_stream): 
    dset[i] = frame 

ある各ビデオは1080 RBG画像の70e3について持っています。 video_streamは、反復処理されたときに配列を返すオブジェクトです（1080,1920,3）。それが重要だと思うなら、それをhereで見ることができます。だから私はどのように妥当な速度でhdf5にこのデータを保存し、妥当なファイルサイズで終わることができますか？ mp4圧縮に近づけることは可能ですか？

Answer 1

MP4は、ビデオを保存するように特に設計された、かなり高度な標準で、ハードウェアアクセラレーションを使用することがよくあります。わずか50億バイトで4,000億以上の値をパックすることができれば、その効率性がわかります。

HDF5はビデオ規格ではありませんが、GZipはビデオにはあまり適していません。 Pythonはおそらくgzip圧縮がおそらくC言語で行われているので多分問題ではありませんが、コードはシングルスレッドであることに注意してください。要約すると、MP4に近いものは得られません。

正直言って、なぜあなたも試していますか？私はまだビデオデータとの親和性があまりないと思う。