Brotli圧縮マルチスレッド

Question

Brotliは、圧縮の長さ（9.2）についての情報がなく、ブロックの最終的な圧縮されていないサイズのメタブロックヘッダーにブロックサイズ情報を格納します。私は、複数のスレッドや、おそらくマーク・アドラーのものと同様のものを使用するために、ラッパーを作成する必要があると推測しています。pigz

この場合、gzipと同じスレッド原則が適用されますか、またはマルチスレッド実装に関しては予見可能な問題はありますか？

Answer 1

この目的のためにbrotli形式をそのまま使用できます。空のメタブロックにメタデータを入れるオプションを追加するようにしました（「空」とは、メタブロックが非圧縮のデータをゼロにすることを意味します）。メタブロックを見つけるためにマーカーをメタデータに入れることができます。挿入された空のメタブロックはまた、バイト境界で次のメタブロックを開始する。

各メタブロックは、他のメタブロックとは独立して、にすることができます。そのようにストリームが構築されていれば、それらを組み合わせて圧縮するか別々に解凍することに問題はありません。可能性のある依存領域は、使用された最後の4つの距離のリングバッファであり、現在のメタブロックの先頭から後方に参照されます。並列使用の場合、メタブロックは、現在のメタブロックからの距離でいっぱいになるまで、リングバッファを参照するのではなく、最後の4つの距離に依存しないように構成されなければならない。さらに、現在のメタブロックの前に戻る距離は許されません（静的参照を含まない）。最後に、空のメタデータ・ブロックまたはメタデータ・メタブロックを追加して、簡単な連結のためにシーケンスをバイト境界に移動させます。

ところで、古いバージョンのドラフト形式にリンクしているようです。ここにはlink to the current versionがあります。