1TBのフォルダとファイルをvps WebサーバーからAWS S3に転送

Question

すべてのファイル（フォルダ構造を使用）をAWS S3に転送する必要があります。私はこれがどのように行われたかについて多く研究してきました。

上記のほとんどの場所s3fsです。しかし、これはちょっと古いようです。そして、私は既存のCentOS 6 Webサーバーにs3fsをインストールしようとしました。しかし、$ makeコマンドに固執しています。 （はい、そこにMakefile.inがあります）

そしてas per this answer AWS S3 Transfer Accelerationは、次のより良いオプションです。しかし、私はまだS3にすべてのフォルダとファイルを転送するPHPスクリプト（私のアプリケーションはPHPです）を書く必要があります。 S3（API putObject）でファイルを保存する方法と同じですが、高速です。私が間違っていれば私を修正してください。

CentOS 6サーバからAWS S3にフォルダを持つ1TBファイルを転送するための他の優れたソリューション（FTPを好む）がありますか？ CentOS 6の外部からAWS S3にファイルを転送するためにEC2でFTPクライアントを使用する方法はありますか？

Answer 1

AWS Command-Line Interface (CLI)のaws s3 syncコマンドを使用してください。

これにより、ディレクトリ構造が維持され、切断された場合に再起動することができます。実行ごとに、新規ファイル、変更されたファイル、または不足しているファイルのみがコピーされます

1TBは大量のデータで、コピーするにはsignificant timeを使用できます。

代わりにAWS Snowballを使用することもできます。AWS Snowballは、AWSが送信できるデバイスです。 50TBまたは80TBのデータを保持できます。データをデバイスにコピーしてAWSに戻すだけで、Amazon S3にデータがコピーされます。