なぜ私はorg.apache.spark.sql.DataFrameをインポートできません

Question

私はMaven依存関係spark-sql_2.1.0とspark-hive_2.1.0を持っています。しかし、私がimport org.apache.spark.sql.DataFrameにしようとすると、エラーが発生します。しかし、 org.apache.spark.sql.SQLContextのインポートはOKですが、エラーはありません。どうして？

Answer 1

DataFrameはtype DataFrame = Dataset[Row]になりました。 Javaにはタイプエイリアスがないため、Javaでは使用できません。これで、新しいタイプDataset<Row>を使用するので、javaために開発された全くのライブラリが存在しないようjavaためscalaとないの両方org.apache.spark.sql.Datasetとorg.apache.spark.sql.Row

Answer 2

import org.apache.spark.sql.DataFrame 

作品をインポートする必要があります。あなたは、次の

import org.apache.spark.sql.Dataset; 
import org.apache.spark.sql.Row; 

をインポートし、

Dataset<Row> peopleDataFrame = spark.createDataFrame(rowRDD, schema); 

それとも

Dataset<Row> peopleDF = spark.createDataFrame(peopleRDD, Person.class); 

それとも

としてそれらを使用することができます Spark SQL, DataFrames and Datasets Guide

で説明したようにあなたはdataSetを使用することができます10

Dataset<Row> usersDF = spark.read().load("examples/src/main/resources/users.parquet");