0
私はSpark SQLを使って簡単なアプリケーションを構築する際にいくつか問題があります。私がしたいのは、DataFrame
に新しい列を追加することです。それが動作spark-shell
で代わりにSparkSQL:見つからない値expr
(Eclipseはそれについて不平を言うとまた)
not found: value expr
:
val sqlContext=new HiveContext(sc)
import sqlContext._
// creating the DataFrame
correctDF.withColumn("COL1", expr("concat('000',COL1)"))
を私はSBTでそれを構築する場合には、例外がスローされます。したがって、私が行っています魔法のように。
私が持っている私のbuild.sbtファイルで:私はポストを読んだ後、私は最後の行を追加しましたが、何も変わっていない
scalaVersion := "2.10.5"
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0" % "provided"
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.0" % "provided"
libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.0" % "provided"
...
誰かが私を助けることができますか?