Pythonで並列gzip圧縮を行うにはどうすればよいですか？

Question

Big file compression with pythonは、例を使用する方法に関する非常に良い例を示しています。 bz2は純粋にPythonで非常に大きなファイルセット（または大きなファイル）を圧縮するためのものです。

pigzは、並列圧縮を利用するとより効果的だと言います。 純粋なPythonコードでは、私の知る限り（そしてGoogle検索）、私はPythonと同等の機能を見つけることができません。

pigz相当の並列Python実装がありますか？

Answer 1

私は、pigzのPython用のインタフェースを知らないが、本当に必要な場合は、書くのは難しくないかもしれない。 Python's zlib moduleは任意のバイトのチャンクを圧縮することを可能にし、the pigz man pageは圧縮と出力フォーマットを既に並列化するためのシステムを記述する。

あなたが本当に並列圧縮が必要な場合は、大規模なIPC費用を負担しませんので、multiprocessing APIのスレッド担保バージョンmultiprocessing.dummy.Pool.imap（multiprocessing.dummyに包まれた塊を圧縮するzlibを用いた等価pigzで実装することが可能なはずですチャンクをワーカーに送り、ワーカーからチャンクを送信して）圧縮を並列化します。 zlibは、CPUバインド作業中にGILをリリースする数少ない組み込みモジュールの1つであるため、スレッドベースの並列処理の利点を実際に得ることができます。

実際には、圧縮レベルがそれほど高くならない場合、I/Oはしばしば実際の圧縮と同程度（同程度かそれ以下）です。データソースが実際にスレッドを圧縮するよりも速くフィードできない場合は、並列化の効果はほとんどありません。

Answer 2

Z_SYNC_FLUSHでflush()オペレーションを使用して、最後のデフレートブロックを完了し、バイト境界で終了することができます。連結した最後のストリームがZ_FINISH（これはflush()のデフォルト）でフラッシュされている限り、それらを連結して有効なデフレートストリームを作成できます。

また、CRC-32を並列で計算することもできます（zipまたはgzipのどちらでも、実際は並列gzip圧縮を意味すると思います）。 Pythonはzlibのcrc32_combine()関数へのインタフェースを提供していません。しかし、zlibからコードをコピーしてPythonに変換することができます。それは頻繁に実行する必要はないので、それは十分に速いでしょう。また、必要なテーブルをあらかじめ構築しておくことで、より高速にすることができます。また、固定ブロック長の行列をあらかじめ構築することもできます。