JavaでのLZ4ファイル圧縮

巨大なCSVファイルをLZ4圧縮APIに供給するための最良の方法は何ですか？以下は、非常に大きなファイルには最適ではありません。JavaでのLZ4ファイル圧縮

byte[] data = file.getBytes();

出典

2016-07-29 zostale

http://jpountz.github.io/lz4-java/1.2.0/docs/net/jpountz/lz4/LZ4FastDecompressor.htmlに基づいて、私はあなたができるとは思わない。絶対にLZ4圧縮が必要ですか？私は[gzip圧縮]（http://docs.oracle.com/javase/8/docs/api/java/util/zip/GZIPInputStream.html）を検討します。 – VGR

gzipは私が必要とする方法の方が遅いです - それは私に約50-75 MB/sの圧縮速度を与えます。 lz4でinputstreamを使用する方法がなければなりませんか？ – zostale

LZ4圧縮ユニットを構成するバイト数を調べ、InputStreamから一度に多くのバイトを処理する必要があります.LZ4にもこのような概念があるとします。 – VGR

https://github.com/flanglet/kanziを試すことができます。ブロックコンプレッサーはInputStreamを取り出し、それをブロックに分割します（コマンドラインでサイズを指定します）。

のjava -cp kanzi.jar kanzi.app.BlockCompressor -input = myFile.csv -output = myFile.knz -overwrite - ブロック= 8M -transform：ウィキから

は、あなたがこのような何かを行うことができます= lz4 -entropy = none

出典

2016-07-31 23:21:27 flanglet

答えて

関連する問題