2016-08-16 2 views
4

私のコードは、火花シェルでうまく機能:なぜIDEAはtoDS()とtoDF()関数を見つけることができませんか?

scala> case class Person(name:String,age:Int) 
defined class Person 

scala> val person = Seq(Person("ppopo",23)).toDS() 
person: org.apache.spark.sql.Dataset[Person] = [name: string, age: int] 

scala> person.show() 
+-----+---+ 
| name|age| 
+-----+---+ 
|ppopo| 23| 
+-----+---+ 

が、IDEAで間違っ:私は火花-2.0.0-binの-hadoop2.7」内のすべてのjarファイルをインポートした

enter image description here
/jars/"と表示されますが、この機能はまだ見つかりません。私は問題を見つける

答えて

7

は、)(トッズをusering前に、依存関係を追加:

val ss = SparkSession.builder().appName("DataSet Test") 
    .master("local[*]").getOrCreate() 

// This import is needed 
import ss.implicits._ 
val simpleDS = Seq(Person("po",12)).toDS() 
simpleDS.show() 
関連する問題