sbtを使用して自己完結型のsparkを構築するとコンパイルに失敗する

Question

sbtを使用して合併症を構築しようとしていました。

コード：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/ALSExample.scala

チュートリアル：http://spark.apache.org/docs/latest/quick-start.html#self-contained-applications

しかし、エラーが起こりました。

[error] /home/zeng/workspace/spark/als/src/main/scala/ALSExample.scala:22:object ml is not a member of package org.apache.spark 
[error] import org.apache.spark.ml.evaluation.RegressionEvaluator 
[error]      ^
[error] /home/zeng/workspace/spark/als/src/main/scala/ALSExample.scala:23: object ml is not a member of package org.apache.spark 
[error] import org.apache.spark.ml.recommendation.ALS 
[error]      ^
[error] /home/zeng/workspace/spark/als/src/main/scala/ALSExample.scala:25: object sql is not a member of package org.apache.spark 
[error] import org.apache.spark.sql.SparkSession 
[error]      ^
[error] /home/zeng/workspace/spark/als/src/main/scala/ALSExample.scala:46: not found: value SparkSession 
[error]  val spark = SparkSession 
[error]    ^
[error] /home/zeng/workspace/spark/als/src/main/scala/ALSExample.scala:61: not found: type ALS 
[error]  val als = new ALS() 
[error]     ^
[error] 5 errors found 
[error] (compile:compileIncremental) Compilation failed 

どうしてですか？ BTW、火花verionは2.0.0です。

Answer 1

だけで疑われるとして、このエラーは、あなたのビルドファイル内のすべてのスパークのライブラリが含まれていなかったという事実に反映させるので、あなたが不足しているものである（？）されています

"org.apache.spark" %% "spark-mllib" % "2.0.0" 

あなたがしている場合データフレームを使用する場合は、次のものも必要です。

"org.apache.spark" %% "spark-sql" % "2.0.0"