ラムダからEMRでスパークジョブを同時に送信

Question

私のアプリケーションでは、EMRスパークジョブを使用してリアルタイムでデータを処理する必要があります。

私はLambdaのEMRのaddJobFlowSteps APIを使用していますが、本質的にシーケンシャルです。

ラムダからEMRにジョブを提出する他の方法はありますか？

Answer 1

カスタム 'spark-submit'スクリプトを使用できます。

cat /usr/bin/spark-submit-forked 
#!/bin/bash 

(nohup spark-submit "$@" > /dev/null 2>&1 &) 

：

私は、この使用します