Pyspark - AttributeError： 'UserDefinedFunction'オブジェクトに '_get_object_id'属性がありません

Question

関数を使用してpythonファイル（python_file.py）を作成し、同じスコープ内でpyspark-shellのUDFとして関数を呼び出しました。それは

はAttributeErrorが生じ

import python_file as outer 
pyspark_func = udf(outer.my_funct, StringType()) 
df1 = df.select(pyspark_func(col('col1'))) 

次のようにコードがある： 'UserDefinedFunction' オブジェクトには、属性を持っていないエラー '_get_object_id'。

誰でも私にエラーを説明してください。これを行う方法は他にありますか？

Answer 1

私たちが従わなければならない。このcode.whileクエリデータフレームスパークSQLがフォーマット

Actual Data

+--------+---+----+ 
| date| id|name| 
+--------+---+----+ 
| 05FEB12|101|John| 
| 19APR13|102|Mike| 
|19APR17s|103|Anni| 
+--------+---+----+ 

UDF Creation and Registration

def userDefinedMethod(sample): 
    return sample+"is my Name" 

userDefinedMethod = udf(userDefinedMethod, StringType()) 

**dataDf.select(dataDf["id"],dataDf["name"],userDefinedMethod(dataDf["name"]).alias("Modified name")).show()** 

Resultant Output:

+---+-----------------+ 
| id|Incremental value| 
+---+-----------------+ 
|101| Johnis my Name| 
|102| Mikeis my Name| 
|103| Anniis my Name| 
+---+-----------------+