DataFrameの最初の関数ignoreNullsが機能しません。

Question

Sparkドキュメントの最初の関数を読み込むと、ignoreNullsが最初の非NULL値を取得することが説明されています。

import org.apache.spark.sql.SparkSession 
import org.apache.spark.sql.functions._ 
import org.apache.spark.sql.expressions.{Window, WindowSpec} 

object tmp { 
    def main(args: Array[String]): Unit = { 
    val spark = SparkSession.builder().master("local") getOrCreate() 
    import spark.implicits._ 

    val input = Seq(
     (1234, 1, None), 
     (1234, 2, Some(1)), 

     (5678, 1, Some(11)), 
     (5678, 2, Some(22)) 
    ).toDF("service_id", "counter", "value") 

    lazy val window: WindowSpec = Window.partitionBy("service_id").orderBy("counter") 
    val firsts = input.withColumn("first_value", first("value", ignoreNulls = true).over(window)) 
    firsts.orderBy("service_id", "counter").show() 
    } 
} 

これは、次の出力を返します。私は「あなたはそれはあなたがドン場合ので

lazy val window: WindowSpec = Window.partitionBy("service_id").orderBy("counter").rangeBetween(Long.MinValue, Long.MaxValue) 

その仕事にするためにrangeBetweenオプションを定義する必要があり、私はここに

+----------+-------+-----+-----------+ 
|service_id|counter|value|first_value| 
+----------+-------+-----+-----------+ 
|  1234|  1| null|  null| 
|  1234|  2| 1|   1| 
|  5678|  1| 11|   11| 
|  5678|  2| 22|   11| 
+----------+-------+-----+-----------+ 

Answer 1

を何かが欠けFIRST_VALUEための最初の行にNULL値が1アムになりたいですt範囲をwindowに定義すると、最初の行の範囲は1行、2行目の範囲は2行などとなります。

回答が役に立ちそうです。