編集距離データフレーム列（String）を派生させてsparkのデータフレームに新しい列を追加する方法

Question

ScalaとSparkの新機能です。私は、編集距離を計算することによって、データフレームの既存の列から新しい列を派生させたいと考えています。例えば、FNAMEとLNAMEはデータフレームの2つのカラムであり、FNAMEとLNAMEの編集距離を維持するNAMESCOREという新しいカラムを追加したかったのです。作業または擬似コードで助言してください。

ここに私はいくつかの部分的な答えがあります。

Derive multiple columns from a single column in a Spark DataFrame

Answer 1

あなたはUDFを使用することができます。

def udfToFindEditDistance(col1 :String,col2 :String): String ={ 
    //find edit distance b/w col1 and col2 
    } 

は

val newUDF=udf(udfToFindEditDistance(_:String,_:String)) 

あなたはレーベンシュタインFを使用することができます

val newDf=df.withColumn("newColumnName",newUDF(df("FNAME"),df("LNAME"))) 

Answer 2

新しい列を追加するUDFを登録します編集距離を計算するための統一。

https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/sql/functions.html#levenshtein(org.apache.spark.sql.Column,%20org.apache.spark.sql.Column)

val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
    .format("com.crealytics.spark.excel") 
    ... 
    .load(...) 
df.withColumn("NAME_DISTANCE", levenshtein($"Name_Left", $"Name_Right"))