0

こんにちは私は既に作成されたUDFオブジェクトを登録したいと思います。私はspark 2.1を使用していますが、sparkSession.udf.register()関数は通常のスカラ関数のみのUDFパラメータを受け入れません。大規模なSpark APIから何かを見逃すのは簡単です。だから、2.1でこれを可能にする関数またはコンストラクタがありますか?この場合Spark 2.1 register to functionRegistry

答えて

1

私は、問題を逆にしてUserDefinedFunctionを取得するには、UDFの登録を使用したい:

DataFramesの両方で動作します
import org.apache.spark.sql.expressions.UserDefinedFunction 

val id: UserDefinedFunction = spark.udf.register("id", (x: Int) => x) 

val id: UserDefinedFunction = spark.udf.register("id", (x: Int) => x) 

とSQL:

spark.sql("SELECT id(id) FROM RANGE(42)") 
関連する問題