spark startApplication AppIdを私に与えることはありません

Question

sparkに少し問題があります。私は自分の仕事を送るときにappIdを回復してどこかに保存したいと思います。しかし、私は私のIDを取得することはできません。

すべてのsparkLauncherパラメータが有効で、ジョブは正常に実行されます。

try{ 
     LOGGER.debug("Start submit SparkJob"); 

     try { 
      sparkAppHandle = sparkLauncher.startApplication(); 

      boolean write = false; 
      long limitTime = waitingTime /100; 

      LOGGER.debug("waiting time : "+waitingTime+"ms"); 

      int i=0; 
      //log 
      while(i <= limitTime){ 
       Thread.sleep(100); 
       i++; 
       String id = sparkAppHandle.getAppId(); 
       if(StringUtils.isNotBlank(id)){ 
        LOGGER.debug("i="+(i*100)+"ms, SPARK id :" + id + ", SPARK state :" + sparkAppHandle.getState().name()); 
        write = true; 
       } 
      } 
      if(!write){ 
       LOGGER.debug("SPARK id is null"); 
      } 

     } catch (Exception e) { 
      LOGGER.debug("ERROR in startApplication " + e); 

     } 
     LOGGER.debug("End submit SparkJob"); 

    } catch (Exception e) { 
     LOGGER.error("Error in Spark Launcher:", e); 
    } 

ログ：

#09 Mar 2017 17:30:38,745 [DEBUG] (SparkServicesImpl.java:submitSparkJobsWithAppLaunch:143): Start submit SparkJob 
#09 Mar 2017 17:30:38,774 [DEBUG] (SparkServicesImpl.java:submitSparkJobsWithAppLaunch:163): waiting time : 60000ms 
#09 Mar 2017 17:31:38,942 [DEBUG] (SparkServicesImpl.java:submitSparkJobsWithAppLaunch:177): SPARK id null 
#09 Mar 2017 17:31:38,942 [DEBUG] (SparkServicesImpl.java:submitSparkJobsWithAppLaunch:201): End submit SparkJob 

私の仕事は、すべてがで動作し、正常に動作します "sparkLauncher.launch（）;"しかし、私はこの方法でappIdを回復できるとは思わない。

誰かが私を助けることができますか？

Answer 1

あなたはinfoChanged