boto3を使用して既存のEMRクラスタを新しいものにクローズ

Question

boto3を使用して新しいクラスタを作成するとき、既存のクラスタの構成を使用して終了します。 私が知る限り、emr_client.run_job_flowはすべての設定（Instances, InstanceFleets etc）をパラメータとして提供する必要があります。 EMRのためにaws consoleから行うことができるように、既存のクラスタからクローンを作成する方法はありますか？私はあなたのクラスタを発射するAWS CLIを使用している、あなたをお勧めすることができますどのような

Answer 1

。
クラスタ構成をバージョン管理することができます。jsonファイルを使用して簡単にステップ構成をロードできます。

step.jsonは、次のようになります

aws create-cluster --name "Cluster's name" --ec2-attributes KeyName=SSH_KEY --instance-type m3.xlarge --release-label emr-5.2.1 --log-uri s3://mybucket/logs/ --enable-debugging --instance-count 1 --use-default-roles --applications Name=Spark --steps file://step.json 

：あなたは、常に同じ設定されたクラスタをスタートアップすることができた後

 [ 
     { 
     "Name": "Step #1", 
     "Type":"SPARK", 
     "Jar":"command-runner.jar", 
     "Args": 
     [ 
      "--deploy-mode", "cluster", 
      "--class", "com.your.data.set.class", 
      "s3://path/to/your/spark-job.jar", 
      "-c", "s3://path/to/your/config/or/not", 
      "--aws-access-key", "ACCESS_KEY", 
      "--aws-secret-key", "SECRET_KEY" 
     ], 
     "ActionOnFailure": "CANCEL_AND_WAIT" 
     } 
    ] 

（複数のステップがあまりにもオーケーです）

を。
たとえば、クラスタ全体をスケジュールし、1つのAirFlowジョブからステップを実行します。

しかし、あなたが本当にBoto3を使用したい場合は、私はdescribe_cluster()方法は、全体の情報を得るために、あなたを支援し、新しいものを起動するために返されたオブジェクトを使用できることとします。