パンダの行列と距離行列をできるだけ早く

Question

私はsklearnの余弦距離の式を使ってNxN類似行列を計算したいと思います。私の問題は、私のマトリックスが非常に大きいことです。それは約1000項目があります。私の現在のアプローチは非常に遅く、実際のスピードアップが必要です。誰も私がコードをスピードアップするのを助けることができますか？

for i in similarity_matrix.columns: 
    for j in similarity_matrix.columns: 
     if i == j: 
      similarity_matrix.ix[i,j] = 0 
     else: 
      similarity_matrix.ix[i,j] = cosine(documents[int(i)], documents[int(j)]) 

ボーナスタスク：さらに、加重コサイン式を使用したいと思います。しかし、それはsklearnに実装されていないようです？本当？

Answer 1

for-loopsを使用するのは理想的なソリューションではありません。私はscipyのpdist関数に落ちることをお勧めします。私の読んだことは、あなたのマトリックスが1000のエントリが1000x1000であるということではないということですか？しかし、Scipyはこれを簡単に処理できます。

import numpy as np 
from scipy.spatial.distance import pdist 

res = pdist(documents.T, 'cosine') 
distances = 1-pd.DataFrame(squareform(res), index=documents.columns, columns=documents.columns) 

あなたの体重ベクトルの様子を理解することに問題がありますか？ Isは一定の値ですか？ Pdistはカスタム関数の追加を可能にします。たとえば、あなたは（も本当に速いです）numpyのを使用して、コサイン距離を計算することができます

pdist(X, lambda u, v: np.dot(np.dot(u, v), weightvec)/(norm(np.multiply(u, weightvec)) * norm(np.multiply(v, weightvec))))