2011-09-07 13 views
15

〜2TBのバックアップファイルをS3に送信する必要があります。私は最も手間のかからないオプションは、Linuxのscpコマンド(s3cmdとdifficultyを持って、そうするために過剰なJava/RoRを望んでいない)だろうと思う。Amazon S3にscpする方法は?

しかし、私はそれが可能かどうかはわかりません:どのようにS3のプライベートと公開鍵をscpで使い、宛先IP/URL /パスがわからないのですか?

私はあなたのヒントを感謝します。

+0

p.s. s3cmdの最新バージョンに移動し、putコマンドから--private-ackを削除した後、s3cmdに関する私の問題は解決されたようです。 – qliq

答えて

6

あなたはSCPできません。

お金を使うのが気にしないなら、最も簡単な方法は、おそらくちょうどディスクにそれらを送信することです、そして、彼らはあなたのためにそれを置くでしょう。 Import/Exportサービスを参照してください。

+0

ありがとう、それは過剰です:) – qliq

+0

これは、2つの結核を持っています、非常に高速なネットワークでもしばらく時間がかかるでしょう:) EC2のようなものではないのでSCPできません。 SCPへのあなたのためのサーバ。 APIを使用してアップロードするには、http://stackoverflow.com/questions/667478/how-do-i-bulk-upload-to-s3にアクセスしてください。 –

+1

「Amazon S3バックアップツールのリスト」は、Amazonの支払いを避けるのに役立ちます。http://jeremy.zawodny.com/blog/archives/007641.html – qliq

-3
我々は二枚舌の組み合わせを使用し、rsyncのと暗号化のための二枚舌をトリクル当社AWSのバックアップのための

とアップロード速度を制限するために、トリクル

4

あなたはEBSボリュームにそれをscpが、そこからs3cmdを使用していないのはなぜ?あなたのEBSボリュームとs3バケットが同じ地域にある限り、インバウンドデータ料金は1回のみ(ネットワークからEBSボリュームに)課金されます

私はs3ネットワーク内で一度、 s3cmdははるかに信頼性が高く、データ転送速度はs3への直接転送速度よりはるかに高いです。

+0

これは正直です。 – qliq

9

これはちょうどこれのためのもの、boto-rsyncです。すべてのLinuxボックスから、のboto-のrsyncをインストールして/ローカル/パス/にyour_bucket /リモート/パス/転送するためにこれを使用する:

boto-rsync -a your_access_key -s your_secret_key /local/path/ s3://your_bucket/remote/path/ 

パスもできるファイルを。 AWS以外のS3互換プロバイダの

、--endpoint使用:2015のよう

boto-rsync -a your_access_key -s your_secret_key --endpoint some.provider.com /local/path/ s3://your_bucket/remote/path/ 
+3

このboto-rsyncのものは驚きです –

+0

は魅力のように動作します、ありがとう! –

26

を、SCP/SSHがサポートされていない(そしておそらく他の回答で述べた理由のためになることはありませんでしょう)。 S3へ/からファイルをコピーするため

公式AWSツール:

  1. command line toolpip3 install awscli - 注意して資格情報を指定する必要があり、私は、環境変数を経由して好む:AWS_ACCESS_KEY_IDAWS_SECRET_ACCESS_KEY)。

    aws s3 cp /tmp/foo/ s3://bucket/ --recursive --exclude "*" --include "*.jpg" 
    

    とrsyncのようなコマンド:

    aws s3 sync . s3://mybucket 
    
  2. Webインターフェース:

非AWS方法

任意の他のソリューションは、サードパーティの実行に依存する(例えばボトムシンク、jungledisk ...)は、サポートされている限り素晴らしいことができます。しかし、サードパーティ製のツールは年を重ねるにつれて出てきて、スクリプトの保存期間は短くなります。


EDIT:実際には、AWS CLIをbotocoreに基づいています。私は、おそらくそれを与えたよりも年長の政治家として、もう少し敬意に値するのでbotosync

https://github.com/boto/botocore

+0

サーバにsshする方法があるのでしょうか?AWS S3が意図的に抽象化していない生のファイルシステムを公開する従来のシェルの代わりにAWSシェルを使用します。 –

1

Dragon Diskという素晴らしいツールがあります。シンプルなscpでなく、同期ツールとしても機能します。

http://www.s3-client.com/

ガイドは、セットアップにアマゾンS3がhereを提供され、それを設定した後、あなたはどちらかS3またはセットアップ自動同期にローカルマシンからファイルをコピー&ペーストすることができます。ユーザーインターフェイスは、WinSCPまたはFilezillaと非常に似ています。