単語の線形代数構造を見つけてグローブモデルを評価する

Question

私は、この実装の後にCアプリケーションを使用してテキストコーパスにグローブモデルを構築しましたhttps://github.com/stanfordnlp/GloVe/tree/master/src。 Iは、AがBに関連し、CがDに関連している場合

は、その後-C + Bがベクトル埋め込み、例えばD.に 等しくなければならないような方法で単語埋め込みを検索します の算術 "オーストラリア" - "キャンベラ" + "インド"は "ニューデリー"の埋め込みと同じでなければなりません。

これらの埋め込みをPythonで評価したいと思います。

Answer 1

評価は、任意のA B C Dするための手順：

1. D' = A-C+BでD'のベクトル表現を計算します。
2. トレーニングされたGloVのすべての単語ベクトルvについては、vとD'のコサイン類似度を計算します。
3. D'の最も類似したベクターが実際には単語Dであることを確認します。

このような結果は、@ top1の情報検索の評価と考えることができます。 3番目のステップを変更して@top kに変更することができます。