私は圧縮し、hdfsからfsにエクスポートするたくさんのファイルとサブディレクトリを含むディレクトリを持っています。Hadoopディレクトリを単一のgzipファイルに圧縮するには？
私はこの質問に出くわした - Hadoop: compress file in HDFS? が、それはファイルのみに関連だし、Hadoopのストリーミングを使用するように思えるとGzipCodecは私のディレクトリとは成功を与えませんでした。
HDFSフォルダを1つのgzipファイルに圧縮する最も効率的な理由は何ですか？
ありがとうございます。
hadoop-streamingやMapReduceジョブを使用したくない人にとっては、私はFUSEを使用し、従来のファイルシステムと同じように動作します。
* https://hadoop.apache.org/docs/r1.2.1/streaming.html
* http://www.javased.com/index.php?api=org.apache.hadoop.io.compress.GzipCodec
ディレクトリ構造内のファイルからtarストリームを作成するには、ライブラリが必要です。 zlibを使用してtarストリームを圧縮し、標準の.tar.gzファイルを作成することができます。
このような複数のタスクの結果をマージする場合は、1）gzipストリームを連結して有効なgzipストリームを作成し、2）タールストリームを連結して有効なタールを作ることができますストリームの場合最後の非ゼロタールストリームから1024バイトを削除します。
することはできません 'gzip' A：あなたが唯一の迅速な勝利:)
さらに読書のために、恒久的な解決策として、これを使用したくないかもしれません
ご注意くださいUnixのFSでも最初にそれを 'tar/har'やそのようなものに変換してから圧縮を行う必要があります。 – philantrovert
@philantrovertもちろん、そうする方法についてアドバイスはありますか？ –
私はapacheを使ってJavaプログラムを書くことを提案したい。それはあなたが調べることができる 'TarArchiveOutputStream'のようなクラスを持っています。 – philantrovert