シリアル化可能でないオブジェクトを含むSparkSQL UDFを作成する

Question

sqlContextのHiveテーブルで使用したいUDFを作成しようとしています。シリアライズ可能でない他のライブラリのオブジェクトを含めることは、いかなる方法で可能ですか？ここでは動作しないものの最小限の例です：

def myUDF(s: String) = { 
import sun.misc.BASE64Encoder 
val coder= new BASE64Encoder 
val encoded= decoder.encode(s) 
encoded 
} 

私はテーブル「テスト」

上でそれを実行しようとした場合、私はUDF関数としてスパークシェルで

val encoding = sqlContext.udf.register("encoder", myUDF) 

を関数を登録します

sqlContext.sql("SELECT encoder(colname) from test").show() 

私はエラー

org.apache.spark.SparkException: Task not serializable 
object not serializable (class: sun.misc.BASE64Encoder, value: sun.misc.BASE64Encoder@4a7f9a94) 

を取得10

これには回避策がありますか？私は、オブジェクトとクラスにmyUDFを埋め込もうとしましたが、それもうまくいきませんでした。

Answer 1

あなたは

def encoder = udf((s: String) => { 
    import sun.misc.BASE64Encoder 
    val coder= new BASE64Encoder 
    val encoded= coder.encode(s.getBytes("UTF-8")) 
    encoded 
}) 

としてudf関数を定義しようとすると、@santonがBASE64Encoderエンコーダをするために開始されていることを指摘したように

を更新しました

dataframe.withColumn("encoded", encoder(col("id"))).show 

としてudf関数を呼び出すことができます各行データフレームのがあり、パフォーマンスの問題が発生する可能性があります。その解決策は、という静的オブジェクトをBASE64Encoderに作成し、それをudfという関数内で呼び出すことです。