Spark Dataframe String in Word

Question

基本的に私は英語の文を含むデータフレーム列（String型）を持っています。私の目標は、単語を列として持ち、項目としてカウントするピボット・テーブル（ユーザーIDでグループ化）を作成することです。問題は、あなたが「文章」は、英語の文章を含む列の名前です

myDataframe.groupBy(col("user")).pivot(col("sentences")).count() 

ような何かを行う場合、あなたは文章ではなく、個々の単語をカウントされるということです。文章だけでなく、文章中の個々の言葉を数える方法はありますか？ホワイトスペースのトークンは問題ありません。

Answer 1

あなたはトークン化し、最初の爆発する必要があります。

import org.apache.spark.ml.feature.Tokenizer 

new Tokenizer() 
.setInputCol("sentences") 
.setOutputCol("tokens") 
.transform(df) 
.withColumn("token", explode($"tokens")) 
.groupBy(col("user")).pivot(col("token")).count()