多数の大きなファイルをs3に転送

Question

リモートサーバーからs3バケットに、ファイルサイズが69MBから25GBまでの4500ファイルからなる約31 TBのデータを転送しています。私はこれを行うには、bashスクリプトupload.shでそれを置くためにs4cmd putを使用しています：

#!/bin/bash 

FILES="/path/to/*.fastq.gz" 
for i in $FILES 
do 
    echo "$i" 
    s4cmd put --sync-check -c 10 $i s3://bucket-name/directory/ 
done 

その後、私は仕事を提出するqsubを使用します。

qsub -cwd -e error.txt -o output.txt -l h_vmem=10G -l mem_free=8G -l m_mem_free=8G -pe smp 10 upload.sh 

これはあまりにも長い道のりを取っている - それが10時間を要しました20ファイルをアップロードする。誰かが私のコマンドに代わるものや変更を提案することはできますか？

ありがとうございます！

Answer 1

データを物理メディアにコピーして通常のメールで配送する場合は、インターネット経由でデータを転送するよりも高速で安価です。 AWSはこのような「プロトコル」をサポートしており、その特別な名前はAWS Snowballです。

スノーボールが中およびAWS 雲の外に大量のデータを転送するために、安全な アプライアンスを使用していますペタバイト規模のデータ転送ソリューションです。 Snowballを使用すると、高いネットワークコスト、長い転送時間、および のセキュリティ上の懸念を含む大規模な データ転送の共通の問題が解決されます。 Snowballでデータを転送することは簡単で、速く、 安全で、高速のコストの1/5になる可能性があります。 インターネット。

Snowballでは、データを転送するためのコードを書くか、 ハードウェアを購入する必要はありません。 AWS 管理コンソールでジョブを作成するだけで、Snowballアプライアンスは自動的に *に配送されます。それが到着したら、アプライアンスをローカルの ネットワークに接続し、Snowballクライアントをダウンロードして実行して 接続を確立し、クライアントを使用してアプライアンスに転送するファイルディレクトリ を選択します。クライアントは、 ファイルを暗号化し、アプライアンスに高速で転送します。 転送が完了し、アプライアンスを返却する準備ができたら、Eインクの出荷ラベルが自動的に更新され、Amazon Simple Notification Service（SNS）、テキスト メッセージを介して、またはコンソールで直接 ジョブステータスを追跡できます。

*現在、一部の地域でスノーボールが利用可能です。あなたの場所は、AWS Management コンソールでジョブが作成されると確認されます。

小さいデバイスの容量は50TBであり、ケースに適しています。

独自のハードウェア（ハードディスクドライブ）を出荷する同様のサービスAWS Import/Export diskが、代わりに彼らの特別なデバイスでもあります：

AWSのインポート/エクスポートのディスクを使用するには、次の準備

• をポータブルストレージデバイス（サポートされるデバイスについてはProduct Detailsページを参照）。
• Create Jobリクエストを送信します。あなたのデバイスを認証するために使用されるデジタル署名を持つジョブIDを取得します。
• プリペイドの出荷ラベルを印刷します。
• デバイスを安全に識別し、認証します。 Amazon S3の場合は、署名ファイルをデバイスのルートディレクトリに配置します。 Amazon EBSまたはAmazon Glacierの場合は、デバイスの外装 に署名バーコードを貼り付けます。
• 出荷用コンテナにプリペイド出荷ラベルを貼り付け、デバイスをインタフェースコネクタとともに出荷し、電源装置 をAWSに発送してください。

パッケージが到着すると、それは処理され、安全 デバイスがAWSインポート/エクスポート・ステーションに 添付されるAWSデータセンターに転送されます。データの読み込みが完了すると、 デバイスが返されます。