長時間実行しているEMRクラスタのAWSデータパイプラインの設定

Question

長時間実行しているEMRクラスタを使用したい場合は、その後にデータパイプラインがそのクラスタで何かをやっているように設定したいのですが、

このEMRクラスタにタスクランナーをインストールする必要がありますか？または多分タスクランナーはプレインストールされますか？他にも簡単な方法がありますか？

Answer 1

タスクランナーはEMRにあらかじめインストールされていません。手動で構成する必要があります。stepsに従って、タスクランナーをEMRクラスターにインストールしてください。

タスクランナープロセスの開始時に、--workerGroupの名前を指定します。この名前はこのEMRクラスターのIDになり、データパイプラインアクティビティーのWorkerGroupフィールドに使用できます。