スパーク履歴ログを手動で解凍する

Question

スパーク履歴サーバーに問題があり、手動でログを解凍しようとしました。lz4私はliblz4-toolをインストールし、アプリケーションログapplication_1510049252849_0303.lz4をダウンロードしました。 lz4 ~/application_1510049252849_0303.lz4とそれを解凍するときしかし、私は次のエラーを得た：

Error 44 : Unrecognized header : file cannot be decoded 

そして、この私はすべての火花の歴史のためにlz4ファイルを持っています。解決策は何ですか？それを手動で開く方法はありますか？

Answer 1

lz4イベントログの解凍中に私は同じエラーが発生しました。明らかに、hadoop lz4コーデックと他のlz4コーデックとの間には互換性がないようです。https://issues.apache.org/jira/browse/HADOOP-12990を参照してください。

スパークヒストリーサーバーは、圧縮されたイベントログをlz4で読むことができるので、手動で圧縮解除する必要はありません。お役に立てれば。