ラムダパイプラインをコードに設定して展開する

Question

AWS Lambdasをコードに使用してデータパイプラインを設定できるAWSサービスやプロジェクトがあるかどうかは疑問でした。私は以下のようなものを探しています。 pipeline

from pipeline import connect, s3, lambda, deploy 
p = connect(s3('input-bucket/prefix'), 
      lambda(myPythonFunc, dependencies=[list_of_dependencies]) 
      s3('output-bucket/prefix')) 
deploy(p) 

というライブラリがあるとします。この考え方には多くのバリエーションがあります。このユースケースでは、例えばs3バケットが1つしか仮定されていません。入力s3バケットのリストがあります。

AWSデータパイプラインでこれを行うことはできますか？私が（すぐに）読んだドキュメントには、Lambdaがパイプラインを起動するために使われているという。

Answer 1

私が利用できる最も近いものは、新しくリリースされたLambda Step Functions内のステートマシン機能です。これらを使用すると、データを変換する複数のステップを調整できます。私は標準的なイベントソースをサポートしているとは思わないので、標準のラムダ関数（潜在的にはServerless Application Modelを使用）を作成してS3から読み込んでステートマシンを起動する必要があります。