Pythonでword2vecモデルの精度を計算する

Question

Pythonで実装されたDoc2Vecモデルの精度を得たいと思います。 公式文書では、パラメータとしてファイルを取る精度を得る方法があることがわかりました。その入力ファイルの内容は何でしょうか？

ドキュメンテーションのように4タプルを入れようとしましたが、すべてのパターンが誤って分類されてしまいました。

Answer 1

Doc2Vecモデルの精度は簡単ではありません。コーパスとプロジェクトの目標に合わせた評価方法が必要です。

Word2VecのDoc2Vecにも継承されているaccuracy()メソッドは、元のword2vec論文と元のGoogle word2vec.cツールキットで同じ方法が使用されているため、単語ベクトルだけを使った非常に狭い類推テストを行います。あなたが使用したテストファイルはquestions-words.txtとquestions-phrases.txtで、Github mirror of the Google word2vec-toolkitです。

一部のDoc2Vecモードでは単語ベクトルが生成されるため、これらのDoc2Vecモデルでこの種の類推テストを行うことができますが、文書ベクトルをまったくチェックしません。あなたの川下の文書作業が何であれ、最善ではないかもしれません。