2017-04-04 5 views
1

日食にjarファイルを作成しながら、任意のコンパイルにエラーが発生しないが、スパークで実行しながら、私は、 、しかし、ScalaのスパークピボットスパークScalaのデータフレーム

val dfOutput = df_input.groupBy("memberlogin").pivot("country_group2").count() 

にピボットメソッドを使用して寄付をしようとしていますエラーとして -
Exception in thread "main" java.lang.NoSuchMethodError:

org.apache.spark.sql.GroupedData.pivot(Ljava/lang/String;)Lorg/apache/spark/sql/GroupedData; 

私は希望のライブラリをインポートした、

import org.apache.spark.sql.GroupedData 
import org.apache.spark.sql.functions 

また、

import sqlContext.implicits._ 

いくつかの他のスレッドが記載。

これは機能していないし、理解できない、誰かが助けて指導することができますか?

+0

使用しているスパークのバージョンはどれですか –

+0

ありがとうIndrajit :-)質問のヒントが私のために働いていました。私はバージョン1.5のpparallelシステムで実行していましたが、アップグレードするだけで私の仕事ができました。 –

+0

それから、他人に役立つように答えを受け入れてください –

答えて

0

Spark 1.6にピボット機能が追加されました。DataFrame(Scala、Java、Pythonを使用)でピボットテーブルを作成することができます。

関連する問題