スパークジョブサーバージョブ環境

Question

def main(args: Array[String]) { 
    val conf = new SparkConf().setMaster("local[4]").setAppName("LongPiJob") 
    val sc = new SparkContext(conf) 
    val env = new JobEnvironment { 
    def jobId: String = "abcdef" 
    //scalastyle:off 
    def namedObjects: NamedObjects = ??? 
    def contextConfig: Config = ConfigFactory.empty 
    } 
    val results = runJob(sc, env, 5) 
    println("Result is " + results) 
} 

このコードは、githubリポジトリの一部である新しいapiに関するspark jobserverのlongpiの例から取得しました。私は新しいJobEnvironmentやその中の変数を理解していません。私のIDEはこれらのデフォルト設定に不満を持っています。

https://github.com/spark-jobserver/spark-jobserver/blob/spark-2.0-preview/job-server-tests/src/main/scala/spark/jobserver/LongPiJob.scala

Answer 1

JobEnvironmentは仕事についてのランタイム情報を持っています。 jobId、contextConfig、およびnamedObjectsのように

runJobからこれらの情報にアクセスするのは簡単です。