Spark sql DataFrameクラスが存在しません

Question

私のJava sparkアプリケーションでDataFrameを使用するためにmaven依存関係を追加しました。

<dependency> 
<groupId>org.apache.spark</groupId> 
<artifactId>spark-sql_2.10</artifactId> 
<version>1.2.0</version> 
</dependency> 

をしかし、私は私のコードにorg.apache.spark.sql.DataFrameをインポートする際、データフレームクラスが不明です：私が知っているように、依存関係は、次の形式に応じてのpom.xmlに記載すべき！なぜこのようなことが起こるのか？

Answer 1

あなたのバージョンが間違っていると思います。次のようにあなたのpom.xml

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.6.2</version> 
     <scope>provided</scope> 
    </dependency> 
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10 --> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-sql_2.10</artifactId> 
     <version>1.6.2</version> 
     <scope>provided</scope> 
    </dependency> 

と輸入にこれらのコードを追加します。

import org.apache.spark.sql.DataFrame; 

Answer 2

スパークは、Spark 1.3リリースでデータフレームを導入しました。

あなたのスパークバージョンは、スパークバージョン> = 1.6.0を使用して、あなたもDatasets usindされている場合には> = 1.3.0

dataframe API利用スパークバージョンにアクセスするには、1.2.0です、

スパーク1.6、導入のデータセットのAPI