2016-03-31 19 views
0

私はSpark SQLを使って簡単なアプリケーションを構築する際にいくつか問題があります。私がしたいのは、DataFrameに新しい列を追加することです。それが動作spark-shellで代わりにSparkSQL:見つからない値expr

(Eclipseはそれについて不平を言うとまた)

not found: value expr 

val sqlContext=new HiveContext(sc) 
import sqlContext._ 
// creating the DataFrame 
correctDF.withColumn("COL1", expr("concat('000',COL1)")) 

を私はSBTでそれを構築する場合には、例外がスローされます。したがって、私が行っています魔法のように。

私が持っている私のbuild.sbtファイルで

:私はポストを読んだ後、私は最後の行を追加しましたが、何も変わっていない

scalaVersion := "2.10.5" 

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0" % "provided" 

libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.0" % "provided" 

libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.0" % "provided" 

...

誰かが私を助けることができますか?

答えて

8

答えが見つかりました。このインポートが見つかりませんでした:

import org.apache.spark.sql.functions._ 
関連する問題