大量のデータを処理するAWSのステップ関数を使用しますか？

Question

AWSステップ関数を使用してCSVファイルから大量のデータを処理したいが、これが最善の選択であるかどうかはわかりません。

例： - 大量の行（50Kのような）でCSVをアップロードし、各行で小さな形質を処理します（各traitementはラムダ関数で処理されます）。 この時点では、CSVの各行をDynamoDBに挿入し、各行でラムダ関数を起動することをお勧めします。

あなたはこれについてどう思いますか？

Answer 1

ラムダで大きなファイルを処理するパターンは複数あります。

• 1つのアプローチは、ラージファイルを分割してワーカのラムダ関数に委譲することです。
• 部品の処理ステップが複雑な場合は、複数のステップ関数ワークフローをトリガーできます。

提案されたアプローチでは、各アイテムの処理が十分に大きければ、アイテムごとに処理するのが理にかなっていますが、一般的にはバッチとして処理する方が効率的です。