単語埋め込みの単語が欠けています

Question

私はword2vecモデルを持っていて、すべての単語を列車とテストセットに埋め込むために使用します。しかし、適切な言葉では、word2vecモデルには含まれていません。そして、すべての適切な単語の埋め込みとしてベクトルをランダム化できますか？ できる場合は、私にいくつかのヒントといくつかの論文を参考にしてください。 ありがとうございます

Answer 1

あなたが求めていることは明確ではありません。特に「正しい言葉」とは何を意味しますか？

しかし、トレーニングの後、あなたがモデルであることを期待言葉がモデルになっていない、それは通常のいずれかによって引き起こされている場合：

（1）あなたが/前処理方法に問題があなたのコーパスをトークン化、あなたが提供したと思った言葉はそうではありませんでした。そこで、どのデータをトレーニングに渡すかをもう一度確認してください。

（2）パラメータと期待値のミスマッチ。たとえば、min_countが5（デフォルトのword2vecライブラリ）のトレーニングを実行する場合、5回未満の単語は無視され、ワー​​ドベクトルは受信されません。 （これは通常、低頻度の単語が自分自身にとって良い単語ベクトルを得ることはできないが、他の単語とインターリーブされることによって他の単語の訓練に軽度に干渉することができるので、全体的な単語ベクトル品質にとっては良いことである）

通常、入力を二重化し、問題の疑いのある指標を記録して監視し、訓練後のモデルに含まれていることを慎重に調べることで、何がうまくいかなかったかを推測することができます。