AWS lambdaをnodejsで使用して、パブリックネットワークからaws s3にファイルをコピーする方法は？

Question

私は例えば、パブリックネットワークからファイルをコピーしたい：私のS3バケットに http://myvideo.com/porn/tca-333.mp4 ： さんが言わせて： S3：//mypublicstorage.example.com/porn/tca-333.mp4 は、AWSラムダを使用。

問題は、ビデオは2〜10GBのようにかなり大きなサイズになる可能性があります。 スーパーエージェントのようなリクエストライブラリを使ってフェッチするのであれば、そのすべてはおそらくRAMに格納されるため、十分ではありません。

AWS Lambda自体には、500キロバイトのMBディスクiircだけの制限があります。 AWS Lambdaがこの作業をやっても結構ですか？

request.get(srcUrl).then(resp => S3.putObject({Body: resp.body, ...})) 

どんな提案：

私の現在のコードは、多かれ少なかれ、何かに似ていますか？

Answer 1

この種の仕事では、単純にラムダを使用することはできません。アーキテクチャは次のように設定できます。

• Amazon SQSのジョブをキューにプッシュするAWSラムダ機能。
• 実行するEC2インスタンスをセットアップしてキューからジョブを取り出し、ファイルをダウンロードしてS3にアップロードします。
• 低頻度のワークロードの場合は、オプションでLambdaからEC2インスタンスを開始し、ジョブを処理した後にセルフシャットダウンをプログラムし、キューが空であることを確認できます（オプションでジョブが完了したらEC2を停止します）。