Spark（scala）dataframes - 指定された文字列に含まれるセットからの単語のリストを返す

Question

UDF関数を使用して、wordsの単語セットを反復するスパークデータフレームの文字列に適用します。特定の列の文字列がセットからの単語のいずれかが含まれている場合（下記参照）を求める：

それはある wordsセット内のすべての項目のリストを返すように私はこの機能を変更する必要がありますどのように

udf { (s: String) => words.value.exists(word => s.contains(word)) } 

文字列に見つかりましたか？

私はwhenとotherwiseを使用して試してみました：

udf { (s: String) => when(words.value.exists(word => s.contains(word)), word).otherwise(null) } 

しかし、私はtype mismatchを取得し、とにかく、私はこれが唯一の最初の試合を返すと思います。私はスカラとスパークを学んでいるので、どんな提案も大歓迎です。

Answer 1

あなたはプレーンなScalaの関数であるべき、ここで使用しているudf関数に渡される引数 - Columnオブジェクトを返しますwhenのようなSQL関数のいずれかを使用、これらの機能の意図した戻り値の型ではありません（彼らは返す必要がありますプリミティブ、配列、マップ、ケースクラスなどのSpark DataFramesのデータ型としてサポートされています）。

したがって、実装が簡単であろう：

udf { (s: String) => words.value.filter(word => s.contains(word)) } 

これは、入力タイプString、得られたカラムは、AB Arrayカラムであろう意味outpurタイプSeq[String]とUDFを作成します。例えば

：

val words = sc.broadcast(Seq("aaa", "bbb")) 
val udf1 = udf { (s: String) => words.value.filter(word => s.contains(word)) } 

Seq("aaabbbb", "bbb", "aabb").toDF("word").select(udf1($"word")).show() 
// +----------+ 
// | UDF(word)| 
// +----------+ 
// |[aaa, bbb]| 
// |  [bbb]| 
// |  []| 
// +----------+