hdfsにある圧縮ファイルにログを書き込み/追加できますか？

Question

私はhadoopとハイブをテストしています。ログ解析にそれらを使用したいと思います。

ここで質問がありますが、hdfsにある圧縮ファイルにログを書き込んだり追加したりできますか？

私たちのシステムは毎日たくさんのログファイルを生成しています。これらのログを毎時圧縮してhdfsに入れることができます。

しかし、すでにhdfsに入っていて圧縮されたファイルにログを書きたいのですが？

これらのファイルは圧縮されていませんが、このジョブは簡単ですが、圧縮ログにログを書き込む方法や追加する方法はありますか？

できますか？

誰でも私にいくつかのアドバイスをしたり、いくつかの例を教えていただけますか？

ありがとうございました！

Answer 1

HDFSは、ファイルシステムと同じですが（ただし、配布されています）。圧縮アルゴリズムが追加をサポートしている場合、HDFSで追加することが可能でなければなりません。 Hadoopリリースの一部だけがHDFS追加をサポートしていることに注意してください。

Answer 2

zlibディストリビューションには、これを行う2つのサンプルプログラムがあります。 gzappendとgzlogです。あなたはhttp://zlib.netからzlibディストリビューションを得ることができます。