私のクライアントには、ビデオやサウンドファイルなどの多くのファイルが保存されています。サービスはうまくいっていますが、長期間のファイル保存は非常に難しいようですが、これらのファイルを保存するためにAWSを使用したいと考えています。大規模なファイルアップロードにAWS Kinesisを使用
問題は次のとおりです。クライアントは、AWSへのすべてのファイルをAWSに転送するためにAWS kinesisを使用したいと考えています。これは可能ですか？そのサービスを使用してファイルを転送できますか？たくさんのビデオファイルがあり、私たちは毎日ますます多くなっています。すべてのファイルは比較的大きいです。
また、ファイルの詳細をdynamoDBに保存したい場合は、Lambda関数を使用することもできます。
最も重要なことは、信頼できるデータ転送オプションが必要だということです。彼らはすべての非常に小さかった場合を除き
キネシスは、ファイルをアップロードするための適切なツールではないでしょう - と、ほとんどの動画は、ほぼ確実に1MBのレコードサイズの制限を超えて次のようになります。
データブロブの最大サイズ（ 1レコード内の Base64エンコード前のデータペイロード）は1メガバイト（MB）です。
ブレンナンさんありがとうございました。それに適切なツールは何ですか？最も重要なことは、サービスが信頼できることであることです。これで助けてくれますか？ –
S3は、AWSエコシステムにファイルを格納するための選択肢となるデファクトサービスです。 –
はい、S3を使用してデータを保存します。しかし、私たちは最も信頼性の高い転送オプションを探したいと思っています。ファイルをすぐにS3バケットに転送したい場合は、展開したらローカルコピーを削除します。ローカルコピーを削除する前に、ファイルがS3に完全にアップロードされていることを確認します。 –
使用S3 SDKののいずれかを使用してマルチパートアップロードを持ちます。 90日以上アクセスしないオブジェクトはGlacierに移動できます。
マルチパートアップロードでは、1つのオブジェクトを一連のパーツとしてアップロードできます。各部分はオブジェクトのデータの連続した部分です。これらのオブジェクトパーツは、独立して任意の順序でアップロードできます。パーツの送信が失敗した場合は、他のパーツに影響を与えずにそのパーツを再送することができます。オブジェクトのすべての部分がアップロードされると、Amazon S3はこれらの部分をアセンブルしてオブジェクトを作成します。一般に、オブジェクトサイズが100 MBに達すると、1回の操作でオブジェクトをアップロードするのではなく、複数パートのアップロードを使用することを検討する必要があります。
Amazon Webサービス。 Amazon Simple Storage Service（S3）開発者ガイド（Kindle Locations 4302-4306） Amazon Webサービス、Inc. Kindle Edition。さらに、ファイルのアップロード速度を最適化するために
、使用転送加速：
Amazon S3の転送の高速化は、クライアントとS3バケット間の長距離ファイルの、迅速、簡単、かつ安全な転送を可能にします。転送アクセラレーションは、Amazon CloudFrontのグローバルに分散したエッジロケーションを利用します。データがエッジ位置に到着すると、データは最適化されたネットワークパスを介してAmazon S3にルーティングされます。
Amazon Webサービス。 Amazon Simple Storage Service（S3）デベロッパーガイド（Kindle Locations 2060-2062） Amazon Webサービス、Inc. Kindle Edition。
サーバーからアップロードする場合は、プログラムを作成するか、マルチパートアップロードを活用するツールを入手する必要があります。 http://docs.aws.amazon.com/AmazonS3/latest/dev/uploadobjusingmpu.htmlを参照してください。これにより、AWS S3への転送が安定し、迅速化されます。 –
Johnさん、このようなアップロード方法がどれほど信頼できるか教えていただけますか？ –
@sz_techこれは非常に信頼性が高いです。障害が発生した場合、S3は、具体的に完了または削除するまで、断片的な複数パートアップロードを保持します。 –