ユークリッド距離などを使ってpysparkの最近隣にある

Question

したがって、ユークリッド距離などを使ってpyspark DFの特定の行の最近傍を見つける必要があります。私は20以上の列、1000以上の行とすべての値が数値であるデータ。

私はpysparkでいくつかのデータをオーバーサンプルしようとしていますが、mllibはそれをサポートしていないため、smoteを使って自分で作成することにしました。

私のアプローチは今まで、すべてのカテゴリ距離をstringtoindexを使用してインデックスに変換しています。その結果、ユークリッド距離と近傍を見つけることができ、スマットを実行できます。

私はスパークとmlにかなり新しいです。どんな助けもありがとう。

Answer 1

試みたが、アイブ氏は、このスクリプトが見つかりません：https://github.com/jakac/spark-python-knn/blob/master/python/gaussalgo/knn/knn.py

あなたのデータはデータフレームであれば、あなたは最初に私が提供するライブラリが動作しているようdf.select("id", "yourColumnVector")

を使用し、その後、vectorASsembler https://spark.apache.org/docs/latest/ml-features.html#vectorassemblerとベクターにあなたの列をマージする必要がありますrddのみを使用すると、データフレームをRDDに変換する必要がありますdf.rdd