インデックス文字列でHashcodeを使用

Question

カテゴリ値（文字列値）を持つデータセットを使用して機械学習モデルを訓練しようとしています。しかし、SparkモデルはString値で訓練することはできません。そのため、私はそれらを変換したり数値にインデックスを付けなければなりません。しかし、Sparkの唯一のStringトランスフォーマはStringIndexerであることが判明しましたが、その文字列の頻度に基づいてStringsを索引付けするため、非常に信頼性が低いとわかりました。そして、テストファイルに文字列値の頻度同じままです。だから私は文字列変数のハッシュコードをインデックスとして使用することを考えました。私は簡単に行を繰り返し、列の値の列のハッシュコードを取得し、リストに格納することができます。しかし、私はモデルセットを訓練できるように、このリストをデータセットに追加する方法を知らない。リストは一番上の行から一番下の行まで並べられるので、そのリストを列に変換する方法を見つけようとしていましたが、Sparkにそのオプションがあるとは思いません。リストから新しい列を作成し、それを訓練データセットにどのように追加することができますか？

Answer 1

Sparkにはhashという関数があり、別の列のハッシュ値を含むint列が作成されることが分かりました。

import org.apache.spark.sql.functions; 

Column stringCol = new Column("stringValues"); 
trainingDF = trainingDF.withColumn("hashString", functions.hash(stringCol));