2017-06-13 29 views
0

これは素朴な質問のように聞こえるかもしれませんが、私はこれについて非常に新しいです。 Googleで事前にトレーニングした単語2ベクトルモデル(https://github.com/dav/word2vec)を使用して分類モデルを学習させてみましょう。私は私の分類モデルを保存する。今度は、新しいインスタンスをテストするために分類モデルをメモリにロードし直します。 Google word2vectorモデルを再度読み込む必要はありますか?それとも、私のモデルを訓練するためだけに使用されていますか?モデルテストでword2vecモデルをロードする必要がありますか?

答えて

0

これは、コーパスとテストの例がどのように構造化され、事前処理されているかによって異なります。

おそらく、訓練された単語ベクトルを使用してテキストを数値フィーチャに変換しています。まず、テキストの例をベクトル化して分類器を訓練する。後で、他の(テスト/制作)テキストの例は同じものでベクトル化され、分類子にその判断を得るために提示されます。

したがって、トレーニング中に使用されたテスト/プロダクションテキストの例と同じテキスト/ベクタープロセスを使用する必要があります。おそらく以前のバルクステップを別のステップで実行したことがあります。その場合は、クラシファイアが使用するベクタ形式のフィーチャが既に用意されています。しかし、あなたのクラシファイアパイプラインは、生のテキストを取り込んでベクトル化することがよくあります。その場合、トレーニング中に利用可能なように、テスト時に利用可能な同じ事前トレーニング(ワード) - >(ベクトル)マッピングが必要です。

関連する問題