Amazon Webサービス - SQS - Lambda

Question

現在、私はS3 PUTイベントによってトリガされるラムダ関数を持っています。ラムダはS3バケット/キーの名前でSQSメッセージを作成します。

S3バケットには、これらのファイルを解凍し、処理してデータを保存することを主目的とするzipファイルが含まれています。

lambda自体がメモリサイズに制限されているため、このプロセスを行うにはすべてのJavaコードを配置するのに最適なサービスは何ですか？私はS3のバケット名を取得するためにキューを読み取ってそれらに接続し、私が望むすべての処理を行う何かが必要です。私はすべてのアクロオールコードを処理するために持っているが、私はAWSバッチ、Ec2、スパークなどを使用すべきかどうかはわかりません。私はこれらのサービスに精通しておらず、アマゾンは本質的に同じことをする100万のサービスを提供しているようです。

Answer 1

自動スケーリングEC2インスタンスをセットアップして、SQSからメッセージを読み取り、ファイルを解凍してバケットに書き戻すことができます。

ご理解のある方はthisリンクをご覧ください。

注：S3では、スループットを向上させるために、解凍されたファイルに対して異なるバケットを使用することをお勧めします。