ランダムに生成されたidを持つ列をSparkデータフレームに追加したいとします。これを行うには、私はそうのように、UUIDのランダムUUIDのメソッドを呼び出すためにUDFを使用しています:Spark create入力を受け入れないUDF
明らかdef getRandomId(s:String) : String = {
UUID.randomUUID().toString()
}
val idUdf = udf(getRandomId(_:String))
val newDf = myDf.withColumn("id", idUdf($"colName"))
は、私のgetRandomId関数は、入力パラメータを必要としません。ただし、列として入力されないUDFを作成する方法を理解することはできません。それはスパークで可能ですか?
スパークを使用しています。
可能[ScalaとSparkのUDF関数]の複製(http://stackoverflow.com/questions/38633216/scala-and-spark-udf-function) – Yaron