pysparkでspark SQLクエリからユーザ定義関数を呼び出す方法はありますか？

Question

私はsparkのSQLクエリから関数を呼び出す必要があります。私はudfを試みたが、私はそれを操作する方法を知らない。ここ はシナリオです：

# my python function example 

def sum(effdate, trandate): 
    sum=effdate+trandate 
    return sum 

と私のスパークSQLクエリは次のようである：

spark.sql("select sum(cm.effdate, cm.trandate)as totalsum, name from CMLEdG cm ....").show() 

これらの行は私のコードではありませんが、私は例として、それを述べています。結果を得るためにspark.sql（SQLクエリ）の中で私のsum関数を呼び出すにはどうすればよいですか？ pysparkと互換性のあるリンクやコメントを教えてください。

ご協力いただければ幸いです。

おかげ

カルヤン

Answer 1

この

>>> from pyspark.sql.types import IntegerType 
    >>> sqlContext.udf.register("stringLengthInt", lambda x: len(x), IntegerType()) 
    >>> sqlContext.sql("SELECT stringLengthInt('test')").collect() 
    [Row(_c0=4)] 

をチェック