4つのmysqlテーブルから取り出されたすべての可能なテキストペアのコサイン類似度を計算する

Question

私はスキーマ（app、text_id、title、text）を持つ4つのテーブルを持っています。今、すべての可能なテキストペア（タイトル&のテキストを連結）間のコサインの類似性を計算し、最終的にフィールド（app1、app2、text_id1、text1、text_id2、text2、cosine_similarity）を含むcsvファイルに保存したいとします。

可能な組み合わせがたくさんあるので、非常に効率的に動作するはずです。ここで最も一般的なアプローチは何ですか？私はどんな指針にも感謝します。

編集： 提供されたリファレンスが私の問題に触れるかもしれませんが、私はまだこれにアプローチする方法を見つけることはできません。誰かがこの作業を達成するための戦略についてもっと詳しく説明できますか？計算された余弦類似度の次に、対応するテキストペアも出力として必要です。

Answer 1

以下は、ドキュメントセット間のペアワイズコサイン類似度を計算するための最小限の例です（データベースからタイトルとテキストを正常に取得したと仮定して）。

from sklearn.feature_extraction.text import TfidfVectorizer 
from sklearn.metrics.pairwise import cosine_similarity 

# Assume thats the data we have (4 short documents) 
data = [ 
    'I like beer and pizza', 
    'I love pizza and pasta', 
    'I prefer wine over beer', 
    'Thou shalt not pass' 
] 

# Vectorise the data 
vec = TfidfVectorizer() 
X = vec.fit_transform(data) # `X` will now be a TF-IDF representation of the data, the first row of `X` corresponds to the first sentence in `data` 

# Calculate the pairwise cosine similarities (depending on the amount of data that you are going to have this could take a while) 
S = cosine_similarity(X) 

''' 
S looks as follows: 
array([[ 1.  , 0.4078538 , 0.19297924, 0.  ], 
     [ 0.4078538 , 1.  , 0.  , 0.  ], 
     [ 0.19297924, 0.  , 1.  , 0.  ], 
     [ 0.  , 0.  , 0.  , 1.  ]]) 

The first row of `S` contains the cosine similarities to every other element in `X`. 
For example the cosine similarity of the first sentence to the third sentence is ~0.193. 
Obviously the similarity of every sentence/document to itself is 1 (hence the diagonal of the sim matrix will be all ones). 
Given that all indices are consistent it is straightforward to extract the corresponding sentences to the similarities. 
'''