日食にjarファイルを作成しながら、任意のコンパイルにエラーが発生しないが、スパークで実行しながら、私は、 、しかし、ScalaのスパークピボットスパークScalaのデータフレーム
val dfOutput = df_input.groupBy("memberlogin").pivot("country_group2").count()
にピボットメソッドを使用して寄付をしようとしていますエラーとして -
Exception in thread "main" java.lang.NoSuchMethodError:
org.apache.spark.sql.GroupedData.pivot(Ljava/lang/String;)Lorg/apache/spark/sql/GroupedData;
私は希望のライブラリをインポートした、
import org.apache.spark.sql.GroupedData
import org.apache.spark.sql.functions
また、
import sqlContext.implicits._
いくつかの他のスレッドが記載。
これは機能していないし、理解できない、誰かが助けて指導することができますか?
使用しているスパークのバージョンはどれですか –
ありがとうIndrajit :-)質問のヒントが私のために働いていました。私はバージョン1.5のpparallelシステムで実行していましたが、アップグレードするだけで私の仕事ができました。 –
それから、他人に役立つように答えを受け入れてください –