2017-01-29 23 views
-1

圧縮されていない圧縮された.gzファイルをS3バケットにダウンロードせずに取得できますか?S3でダウンロードしないで.gzファイルの圧縮されていないサイズを取得

私はS3で650MBから1.2GBまでの約750gzのファイルを持っています。圧縮されたファイルと圧縮されていないファイルの合計サイズを取得したいと思います。私はこれを行うことができます:

gzip -l *gz 

しかし、私はちょうど合計サイズを取得するために多くの作業のように思えた最初にそれらをダウンロードする必要があると思います。

+0

サーバ上で 'gzip -l'を実行できたとしても(おそらく可能です)、それはうまくいかないでしょう。 'gzip -l'は、ファイルの末尾の4バイトのフィールドに格納されているので、非圧縮サイズを2 と報告します。したがって、1.2 GBファイルの圧縮率が4:1の場合は、4.8 GBではなく約0.5 GBの圧縮サイズのレポートが表示されます。 –

答えて

1

いいえ、これはできません。 Amazon S3は生ファイルを格納します。ファイルを処理する機能はありません。

は、のファイルの内容をダウンロードして解析する必要があります。

S3と考えるとストレージサービスです。それは非常に耐久性と信頼性が高いですが、基本的に単なるストレージサービスです。データがUSBディスクやNASに保存されている場合と同様に、データの処理は他の場所で行う必要があります。

範囲のファイルをダウンロードすることはできますが、ファイルのどの部分にファイルの非圧縮サイズに関する情報が含まれているかを知る必要があります。

関連する問題