2016-08-05 29 views
1

SnappySQLJobを記述しようとするとコンパイル時にエラーが発生します。私は依存関係がないのですか?org.apache.spark.sql.catalyst.TableIdentifierはSnappySQLJobでエラーを解決できません

エラーメッセージがある:

型org.apache.spark.sql.catalyst.TableIdentifierを解決できません。間接的に

@Override 
    public Object runJob(Object sparkContext, Config jobConfig) { 
     SnappyContext snappyContext = (SnappyContext)sparkContext; 

     String fileResource = "data.csv"; 

     DataFrame dataFrame = snappyContext.read() 
       .format("com.databricks.spark.csv") 
       .option("header", "true") 
       .option("inferSchema", "true") 
       .load(fileResource); 

     // Compile-Time error is on this line 
     dataFrame.write().insertInto("example_table_col"); 


     return null; 
    } 

はここに私のpom.xmlの依存関係で必要な.classファイルから参照されています

<dependency> 
     <groupId>io.snappydata</groupId> 
     <artifactId>snappy-core_2.10</artifactId> 
     <version>0.2.1-PREVIEW</version> 
    </dependency> 
    <dependency> 
     <groupId>io.snappydata</groupId> 
     <artifactId>snappy-tools_2.10</artifactId> 
     <version>0.2.1-PREVIEW</version> 
     <exclusions> 
      <exclusion> 
       <artifactId>jdk.tools</artifactId> 
       <groupId>jdk.tools</groupId> 
      </exclusion> 
      <exclusion> 
       <artifactId>logback-classic</artifactId> 
       <groupId>ch.qos.logback</groupId> 
      </exclusion> 
     </exclusions> 
    </dependency> 

答えて

1

この古いリリースでは、spark-catalyst依存関係が欠落しているようです。私の代わりに0.5リリースバージョンへのアップグレードをお勧め(snappy-toolsは今snappy-clusterと呼ばれる)とsnappydataクラスタも下の0.2.1のリリースについては、0.5

にアップグレードする必要がある問題を修正する必要があります:

<dependency> 
    <groupId>io.snappydata</groupId> 
    <artifactId>snappy-spark-catalyst_2.10</artifactId> 
    <version>1.6.0-BETA</version> 
</dependency> 
<dependency> 
    <groupId>io.snappydata</groupId> 
    <artifactId>snappy-spark-sql_2.10</artifactId> 
    <version>1.6.0-BETA</version> 
</dependency>