spark-submitキャッシュを避ける方法

Question

spark-submitジョブがCDHに置かれていると、奇妙なことがあります。それは常に（以下のXXXの）問合せに文句を言いますが、この問合せは現行のアプリケーションには含まれていません。どこかにキャッシュがあるように見えます。

コードは、VARエキス= sqlContext.sql（ "....."）

どのようにそれを修正するのは簡単ですか！ありがとう。

16/11/13 22:12:29 INFO DAGScheduler: Job 1 finished: aggregate at InferSchema.scala:41, took 3.032230 s 
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'XXX' (string and boolean).; 
     at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42) 
     at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:61) 
     at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:53) 
     at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:293) 

ありがとうございます。

Answer 1

古いJARを削除し、実行するために再構築する必要があるかもしれません。