2017-08-13 12 views
0

AWSコマンドラインインターフェイス(CLI)では、to upload a file to AWS Glacierを使用できます。 AWS Rest APIにはlimit of 4GB for file uploadsもあります。私が4GBを超えるファイルをRest API経由でアップロードする必要がある場合は、マルチパートアップロードを使用する必要があります。AWS CLIは4GBを超えるファイルをAmazon Glacierにアップロードしますか?

私の質問は:AWS CLIが内部的に4GBを超えるファイルアップロードを処理するのですか、または4GBを超えるファイルを処理する際に複数フィードのアップロードを処理する必要がありますか? AWS CLIのupload-archiveオプションに20Gbファイルを渡すだけで問題ありませんか? CLIが大きなファイルのアップロードを直接処理できない場合は、私のために実行するコマンドラインツールがあります(チェックサム計算、エラー処理、およびパーツのアップロードが失敗した場合のロジックの再試行の問題を解消できます)。

4GBの制限はAWS Rest APIにありますが、この制限がCLIでどのように処理されるかはわかりませんでした。テストはできますが、アップロード速度はそれほど速くはなく、動作しないことを発見するまで数時間を費やすことを恐れています。

+0

EBSとS3の間の演習から、CLIは複数パートのアップロードを明示的に処理する必要がありましたが、これは難しくありませんでした。 – mpez0

+0

リンク先のcliドキュメントによれば、ツリーハッシュ計算は自分で行う必要があります。ボールトロックのような氷河のみの機能が特に必要な場合を除いて、S3へのアップロードとライフサイクルポリシーの使用により、S3 Glacierストレージクラスに移行するのが最もよい方法です。氷河で直接作業するよりも使用するほうがずっと簡単で、ストレージコストは本質的に同じです(S3使用時のオーバーヘッドオブジェクトあたり+ 40KiB)。 –

+0

[S3価格設定ページ](https://aws.amazon.com/s3/pricing/?nc1=f_ls)によると、S3にオブジェクトを格納することは、氷河に格納する価格の5.75倍であり、S3にオブジェクトを格納することはできません私のためのオプション。 – lgfischer

答えて

0

私はglacier-cmd(https://github.com/uskudnik/amazon-glacier-cmd-interface)を使用していますが、かなりうまく動作しますが、最近サポートされていないようです。場合によっては大きなファイル(〜50GB)でタイムアウトが発生することがあります。

+0

このツールをご利用いただき、ありがとうございます。 「大きなファイルでタイムアウトしています」というのは、大きなファイルをアップロードできないということですか?それとも、アップロードに時間がかかりますか? – lgfischer

+0

ログと氷河の在庫を見直しました。タイムアウトエラーはアップロードに影響しません。最近のバージョンのglacier-cmdは、この場合再試行することを知っているようです。 しかし、私の大きな(50G)ファイルをアップロードすると20%までアップロードできませんでした。 https://github.com/uskudnik/amazon-glacier-cmd-interface/issues/188で議論したのと同様です。 ボトムライン - AFAIK、glacier-cmdは、AWS Glacier CLIのための唯一のハイレベルラッパーであり、ほとんどが動作します。簡単なスクリプトで再試行を整理できます。 – Vitaly

関連する問題