最終的にマウントされたS3バケットにデータを取得するために、大量のデータ(link to data)をAWS Ubuntu Serverにダウンロードしています。問題は、200GBのディスクを搭載したAWS Ubuntu Serverにすべてのデータ(1TB以上のデータなど)をダウンロードすると、ディスクの制限を超えてしまうことです。したがって、これらの制約がある場合、どのように効率的にデータをS3バケットに転送できますか?AWS Ubuntu ServerからAmazon S3バケットにデータを移動する最善の方法は何ですか?
私は、ディスクへの1つのファイルのダウンロード、S3への同期、およびファイルの削除を考慮しましたが、この方法は非常に非効率的です。
S3に直接アップロードできないのはなぜですか?なぜ中間のUbuntuサーバーですか? – helloV
S3に直接アップロードすることはできません。 – Borealis
UbuntuサーバーからS3にコピーしたファイルを削除するか、余分なEBSボリュームをUbuntuサーバーに一時的にマウントして、十分なスペースを確保してください。 –