2つのnグラム間の意味の類似性はどのようにして計算できますか？

Question

私は2つのバイグラム間の意味的類似性を計算しようとしています。このタスクを達成するために、ファーストテキストの事前に訓練された単語ベクトルを使用する必要があります。 EXのために

：

B-グラムは、二つの要素のPythonのリストです： [his, name]と[I, am]

彼らは2つのタプルであり、私は必要な任意の手段によって、これら2つのタプル間の類似度を計算する必要があります。

私には類似点の良い近似を与えるスコアがあることが期待されます。 例 - [His, name]が[I, am]と類似していると伝える方法がある場合は、[An, apple]よりも似ています。

今私は、意味的類似性を含む余弦類似性のみを使用しました。

Answer 1

バイグラムで最初に両方の単語ベクトルを平均すると、コサインの類似性が役立ちます。だからあなたは 'his'と 'name'のベクトルを取って、それらを平均して1つのベクトルにしたいと思っています。次に、 'I'と 'am'のベクトルをとり、それらを平均して1つのベクトルにします。最後に、得られた両方のベクトルのコサイン類似度を計算すると、意味の類似性が大まかになります。