AWS EMRクラスタでSparkLauncherを使用している場合のSPARK_HOMEがありません

Question

私はEMAR 5.0とSpark 2.0.0を使用しています。私はsetSparkHomeを使用してSPARK_HOMEを設定する必要がorg.apache.spark.launcher.SparkLauncher

を使用してScalaのスパークアプリケーションから子スパークアプリケーションを実行しようとしています ：

私はへの適切なパスを見つけることができます

var handle = new SparkLauncher() 
    .setAppResource("s3://my-bucket/python_code.py") 
    .setAppName("PythonAPP") 
    .setMaster("spark://" + sparkSession.conf.get("spark.driver.host") +":"+ sparkSession.conf.get("spark.driver.port")) 
    .setVerbose(true) 
    .setConf(SparkLauncher.EXECUTOR_CORES, "1") 
    .setSparkHome("/srv/spark") // not working 
    .setDeployMode("client") 
    .startApplication(
     new SparkAppHandle.Listener() { 

     override def infoChanged(hndl: SparkAppHandle): Unit = { 
      System.out.println(hndl.getState() + " new state !") 
     } 

     override def stateChanged(hndl: SparkAppHandle): Unit = { 
      System.out.println(hndl.getState() + " new state !") 
     } 
     }) 

私のスパークホーム？ クラスタは、1つのマスター、1つのコア、1つのタスクサーバーから構築されます。

ありがとうございます！

Answer 1

emr-4.0.0以降、EMR上のすべてのアプリケーションは/ usr/libにあります。 Sparkは/ usr/lib/sparkにあります。