大きな（100 MB）テキストファイルの高速圧縮（

Question

）圧縮するには100 MBの大きさの大きなテキストファイルがあります。それは速くなければならない（12-14秒）。私はどのようなアルゴリズムを考慮することができ、どのような予測圧縮率になるのでしょうか？ 私はFLZP、SR2、ZPAQ、Fp8、LPAQ8、PAQ9Aのようないくつかのファイル圧縮アルゴリズムを手に入れました。時間制限は厳しいです。

Answer 1

あなたが探しているパフォーマンス基準を定義していません。 LZベースのコンプレッサー（FLZP、LZO、LZ4、LZHAM、スナッピー、...）が最速です。 PAQコンプレッサーは、各ビットごとにコンテキストミキシングを使用するため、速度は遅くなりますが、最高の圧縮率が得られます。その間に、Brotli、Zstd（速度/圧縮をチューニングするための幅広いオプションが用意されています）、古いBzip/Bzip2などが見つかります。個人的には、私はその素晴らしいスピード/圧縮の妥協とその簡単なコードのためにBCMが好きです：https://github.com/encode84/bcm。

Answer 2

あなたが選んだアルゴリズムは、世界で最もよく圧縮されています。したがって、彼らは遅いです。

There are fast compression algorithms made for your use case. LZ4やSnappyなどの名前が表示されます。