AWSラムダとマルチパートアップロードS3から

Question

ラムダを使用してS3からRedshiftにファイルを移動します。

データは、データプロバイダのRedshiftから直接UNLOADコマンドを使用してS3に配置されます。それは並行して走っているために、異なる時に完了することがある10の異なる部分に分かれています。

Redshiftにデータをインポートするトリガを起動する前に、すべてのデータが完全にアップロードされるまで、Lambdaトリガを待機させます。

ラムダでは「完全マルチパートアップロード」というイベントオプションがあります。 UNLOAD機能はラムダ内のマルチパートアップロードとしてカウントされますか？または、単純な "POST"イベントは、すべてのパートがプロバイダによって完全にアップロードされるまでは起動しませんか？

RedshiftのUNLOADコマンドがMultipartアップロードとしてカウントされていることを確認する明示的な文書や、データプロバイダ全体のアップロードが完了するまでトリガーが起動しないことを確認する明示的な文書はありません。

Answer 1

Amazon S3の場合、複数の部分からなるアップロードは1つのファイルで、複数の部分でS3にアップロードされます。すべての部品がアップロードされると、クライアントはCompleteMultipartUploadを呼び出します。クライアントがCompleteMultipartUploadを呼び出した後でのみ、S3にファイルが表示されます。

ファイルが完成した後で、ラムダ機能が起動されます。あなたは各パーツのラムダトリガーを取得しません。

UNLOAD操作でS3で複数のオブジェクト/ファイルが生成されている場合は、S3の「マルチパートアップロード」ではありません。