エラー：見つからない：value lit/when - spark scala

Question

私はscala、spark、IntelliJ、およびmavenを使用しています。

私はコードの下に使用している

：

val joinCondition = when($"exp.fnal_expr_dt" >= $"exp.nonfnal_expr_dt", 
$"exp.manr_cd"===$"score.MANR_CD") 

val score = exprDF.as("exp").join(scoreDF.as("score"),joinCondition,"inner") 

と

val score= list.withColumn("scr", lit(0)) 

しかし、エラーの下になって、Mavenを使用して構築しよう -

error: not found: value when

と

error: not found: value lit

$と===については、import sqlContext.implicits.StringToColumnを使用しており、正常に動作しています。 Mavenビルド時にエラーは発生しませんでした。しかし、lit(0)とwhenの場合、インポートする必要がありますか、他の方法で問題を解決しています。

Answer 1

のは、次のコンテキストを考えてみましょう：

val spark : SparkSession = _ // or val sqlContext: SQLContext = new SQLContext(sc) for 1.x 
val list: DataFrame = ??? 

whenと​​3210を使用するには、適切な関数をインポートする必要があります

import org.apache.spark.sql.functions.{col, lit, when} 

以下のように今、あなたがそれらを使用することができます。

を

list.select(when(col("column_name").isNotNull, lit(1))) 

これであなたのコードでも点灯することができます：

val score = list.withColumn("scr", lit(0))