word2vec - モデルを読み込むときのRAM消費を減らす

Question

私は約30のword2vecモデルを持っています。 Pythonスクリプトでそれらを読み込むと、それぞれ数GBのRAMが消費されるため、一度にすべてを使用することはできません。完全なモデルをRAMにロードせずにモデルを使用する方法はありますか？

Answer 1

私はgensimでword2vecの実装に親しまれていませんが、一度訓練されたモデルは、基本的に（単語 - >ベクトル）の辞書の沸点まで沸騰すべきです。この機能はgensim.models.KeyedVectorsクラスによって提供され、ベクトルの導出に使用されるトレーニングアルゴリズムとは独立しています。

作成時にメモリではなく、必要に応じてデータベース（SQLiteなど）からベクターをロードするように、そのクラスを拡張することができます。

githubで問題を開いて、問題のコア開発者とのディスカッションを開始した方が最適でしょう。