IntellijプラットフォームのsparkでDataFrame for Javaを認識できません

Question

Sparkの新機能ですが、Sparkライブラリに含まれるDataFrameライブラリを使用してデータを操作しようとしました。

私のIDEがシンボルDataFrameを解決できないことを示すエラーが発生しました。私はインターネット上の関連する問題を検索し、彼らが推奨する解決策に従ったが、結果は私の場合を解決しなかった。

以下は私のコードです。エラーはCannot resolve symbol DataFrameです。

import org.apache.spark.SparkConf; 
import org.apache.spark.api.java.JavaSparkContext; 
import org.apache.spark.sql.SQLContext; 


public class Test { 
    public static void main(String[] args) throws Exception{ 
     String inputFile = args[0]; 
     String outputFile = args[1]; 
     SparkConf conf = new SparkConf().setAppName("Data Transformation") 
       .set("spark.serializer","org.apache.spark.serializer.KryoSerializer") 
       .setMaster("local[*]"); 

     JavaSparkContext sc = new JavaSparkContext(conf); 

     SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc); 

     //below statement throw error in the DataFrame declaration. 
     DataFrame df = sqlContext.read().json("examples/src/main/resources/people.json"); 

     sc.stop(); 
     sc.close(); 
    } 
} 

と私のpom.xmlは以下の通りです。

<?xml version="1.0" encoding="UTF-8"?> 
<project xmlns="http://maven.apache.org/POM/4.0.0" 
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
    <modelVersion>4.0.0</modelVersion> 

    <groupId>com.bistel</groupId> 
    <artifactId>demo-maven</artifactId> 
    <version>1.0-SNAPSHOT</version> 

    <dependencies> 

     <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10 --> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-sql_2.10</artifactId> 
      <version>2.0.1</version> 
     </dependency> 

     <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-core_2.10</artifactId> 
      <version>2.0.1</version> 
     </dependency> 
    </dependencies> 
</project> 

私は、このような火花コアと火花-SQLなど、関連するすべてのライブラリ指定されたが、私はこのエラーを得た理由を私は知りません。私はScala言語で同じ問題を解決しましたが、Javaではできませんでした。

Answer 1

あなたがデータフレームのインポートが欠落しています

import org.apache.spark.sql.DataFrame 

Answer 2

問題はバージョンの問題でした。問題は私が使用したsparkライブラリのバージョンです。 2.0.1のバージョンはDataFrameを提供しません。バージョンを1.6.0にダウングレードし、インポートorg.apache.spark.sql.DataFrameを含めることができました。

以下は新しいpom.xmlです。

<?xml version="1.0" encoding="UTF-8"?> 
<project xmlns="http://maven.apache.org/POM/4.0.0" 
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
    <modelVersion>4.0.0</modelVersion> 

    <groupId>com.bistel</groupId> 
    <artifactId>demo-maven</artifactId> 
    <version>1.0-SNAPSHOT</version> 

    <dependencies> 

     <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-core_2.10</artifactId> 
      <version>1.6.0</version> 
     </dependency> 

     <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11 --> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-sql_2.10</artifactId> 
      <version>1.6.0</version> 
     </dependency> 

    </dependencies> 
</project>