PySparkで2つのベクトルのコサイン類似度を計算する方法は？

Question

私は

1 - spatial.distance.cosine(xvec, yvec) 

のように、PySparkにおける2つのベクトルのコサイン類似度を計算しようとしていますが、scipyのダウンロードはpyspark.ml.linalg.Vectorタイプに未対応のようです。

Answer 1

あなたはかなり簡単にこれを計算するdotとnormメソッドを使用することができます。

from pyspark.ml.linalg import Vectors 
x = Vectors.dense([1,2,3]) 
y = Vectors.dense([2,3,5]) 

1 - x.dot(y)/(x.norm(2)*y.norm(2)) 
# 0.0028235350472619603 

---

scipyのダウンロードで：

from scipy.spatial.distance import cosine 
​ 
x = np.array([1,2,3]) 
y = np.array([2,3,5]) 

cosine(x, y) 
# 0.0028235350472619603