Sparkでスタックトレースを印刷することができません

Question

以下のコードを実行しています。失敗部分では、糸ログに例外スタックトレースをINFOとして出力しています。私のコードはSQLで構文エラーが発生するので、例外が生成されます。しかし、糸ログを見ると、「停止したSparkContextのメソッドを呼び出す」という以下のような予期せぬ事が表示されます。私が何か悪いことをしているなら、これについて助けが必要です。

コードSnipet： -

var ret:String= Try { 
    DbUtil.dropTable("cls_mkt_tracker_split_rownum", batchDatabase) 
    SparkEnvironment.hiveContext.sql(
     s"""CREATE TABLE ${batchDatabase}.CLS_MKT_TRACKER_SPLIT_ROWNUM 
     AS SELECT ROW_NUMBER() OVER(PARTITION BY XREF_IMS_PAT_NBR,MOLECULE ORER BY IMS_DSPNSD_DT) AS ROWNUM,* 
     FROM ${batchDatabase}.CLS_MKT_TRACKER_SPLIT 
    """) 
    true 
    } match { 
    case Success (b:Boolean) => "" 
    case Failure (t :Throwable) => logger.info("I am in failure" + t.getMessage + t.getStackTraceString) ; "failure return" 
    } 

糸ログ： -

16/12/13 11:19:42 INFO SessionState: No Tez session required at this point. hive.execution.engine=mr. 
16/12/13 11:19:43 INFO DateAdjustment: I am in failureCannot call methods on a stopped SparkContext. 
This stopped SparkContext was created at: 

org.apache.spark.SparkContext.<init>(SparkContext.scala:83) 
SparkEnvironment$.<init>(SparkEnvironment.scala:12) 
SparkEnvironment$.<clinit>(SparkEnvironment.scala) 
DbUtil$.dropTable(DbUtil.scala:8) 
DateAdjustment$$anonfun$1.apply$mcZ$sp(DateAdjustment.scala:126) 
DateAdjustment$$anonfun$1.apply(DateAdjustment.scala:125) 
DateAdjustment$$anonfun$1.apply(DateAdjustment.scala:125) 
scala.util.Try$.apply(Try.scala:161) 
DateAdjustment$delayedInit$body.apply(DateAdjustment.scala:125) 
scala.Function0$class.apply$mcV$sp(Function0.scala:40) 
scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:12) 
scala.App$$anonfun$main$1.apply(App.scala:71) 
scala.App$$anonfun$main$1.apply(App.scala:71) 
scala.collection.immutable.List.foreach(List.scala:318) 
scala.collection.generic.TraversableForwarder$class.foreach(TraversableForwarder.scala:32) 
scala.App$class.main(App.scala:71) 
DateAdjustment$.main(DateAdjustment.scala:14) 
DateAdjustment.main(DateAdjustment.scala) 
sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 

The currently active SparkContext was created at: 

(No active SparkContext.) 
     org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:107) 

Answer 1

私が調査した、私のアプリケーションの1位、SC.stop（AT）と呼ばれてきましたそれは問題を引き起こしていました。