パンダのデータフレームからjaccardの類似度を計算する方法

Question

私は以下のようなデータフレームを持っています。フレームの形状は（1510,1399）です。列は製品を表し、行は特定の製品に対してユーザーによって割り当てられた値（0または1）を表します。どうすればjaccard_similarity_scoreを計算できますか？

私はdata_ibsの類似性を計算するためにかかわらず、反復するかどうかはわからない製品

data_ibs = pd.DataFrame(index=data_g.columns,columns=data_g.columns) 

対製品を一覧表示するプレースホルダのデータフレームを作成しました。

for i in range(0,len(data_ibs.columns)) : 
    # Loop through the columns for each column 
    for j in range(0,len(data_ibs.columns)) : 
......... 

Answer 1

ショートとベクトル化（高速）答え：

from sklearn.metrics.pairwise import pairwise_distances 
jac_sim = 1 - pairwise_distances(df.T, metric = "hamming") 
# optionally convert it to a DataFrame 
jac_sim = pd.DataFrame(jac_sim, index=df.columns, columns=df.columns) 

---

説明：scikitの対距離学ぶから

使用 'ハミング'

これがあると仮定あなたのデータセット：

01 sklearnのjaccard_similarity_scoreを使用

、カラムAとBとの間の類似性は、次のとおり

from sklearn.metrics import jaccard_similarity_score 
print(jaccard_similarity_score(df['A'], df['B'])) 
0.43 

これは私の知る限りとして、100

行の合計数にわたって同じ値を持つ行の数でありますjaccard_similarity_scoreのペアワイズバージョンはありませんが、ペアワイズバージョンの距離があることがわかります。次のように

しかし、scipyのダウンロードがJaccard distanceを定義：

は2つのベクトルuおよびvを考えると、ジャカードの距離がそれらの要素U [i]およびVの割合である[I]ここで少なくとも一つの反対ことそれらのうちの0は非ゼロである。

したがって、両方の列が0の値を持つ行は除外されます。 jaccard_similarity_scoreはそうではありません。距離ハミング、一方、類似度の定義とインラインである：

合わない2つのnベクトルuとv 間ものベクトル要素の割合。

あなたがjaccard_similarity_scoreを計算したいのであれば、あなたは1を使用することができます - ハミング：データフレーム形式で

from sklearn.metrics.pairwise import pairwise_distances 
print(1 - pairwise_distances(df.T, metric = "hamming")) 

array([[ 1. , 0.43, 0.61, 0.55, 0.46], 
     [ 0.43, 1. , 0.52, 0.56, 0.49], 
     [ 0.61, 0.52, 1. , 0.48, 0.53], 
     [ 0.55, 0.56, 0.48, 1. , 0.49], 
     [ 0.46, 0.49, 0.53, 0.49, 1. ]]) 

：

jac_sim = 1 - pairwise_distances(df.T, metric = "hamming") 
jac_sim = pd.DataFrame(jac_sim, index=df.columns, columns=df.columns) 
# jac_sim = np.triu(jac_sim) to set the lower diagonal to zero 
# jac_sim = np.tril(jac_sim) to set the upper diagonal to zero 

     A  B  C  D  E 
A 1.00 0.43 0.61 0.55 0.46 
B 0.43 1.00 0.52 0.56 0.49 
C 0.61 0.52 1.00 0.48 0.53 
D 0.55 0.56 0.48 1.00 0.49 
E 0.46 0.49 0.53 0.49 1.00 

あなたはの組み合わせを反復することで同じことを行うことができます列はそれほど遅くなります。

import itertools 
sim_df = pd.DataFrame(np.ones((5, 5)), index=df.columns, columns=df.columns) 
for col_pair in itertools.combinations(df.columns, 2): 
    sim_df.loc[col_pair] = sim_df.loc[tuple(reversed(col_pair))] = jaccard_similarity_score(df[col_pair[0]], df[col_pair[1]]) 
print(sim_df) 
     A  B  C  D  E 
A 1.00 0.43 0.61 0.55 0.46 
B 0.43 1.00 0.52 0.56 0.49 
C 0.61 0.52 1.00 0.48 0.53 
D 0.55 0.56 0.48 1.00 0.49 
E 0.46 0.49 0.53 0.49 1.00