word2vecには、入力レイヤー、非表示レイヤー、出力レイヤーの3つのレイヤーがあります。Hierarchical Softmaxの出力レイヤーのユニット数
サイズがVのコーパスに対して伝統的なsoftmaxアプローチ を使用すると、出力レイヤーのユニット数もV(ワンホットベクトル入力)になります。
Hierarchical Softmaxを使用した場合、 という記事では、ハフマンバイナリツリー内にV-1ノードしか存在しないと記載されています。 この場合、出力レイヤにはV-1ユニットしかないのでしょうか?ここで
は私が読んでいるの参照です: https://arxiv.org/pdf/1411.2738.pdf
ありがとうございました。
[CreateBinaryTree](https://github.com/tmikolov/word2vec/blob/20c129af10659f7c50e86e3be406df663beff438/word2vec.c#L218)のページでは、ノードの数= V-1です。これは番号と同じではありませんボキャブラリー語の? –
ああ、はい、そうです。したがって、元のword2vec.cとgensimの両方の実装では、HS出力の重みに完全長の配列を割り当てますが、最後のスロットは使用しません。だから、あなたの質問に対する答えは、 "はい、V-1のアクティブノードがありますが、もう1つは割り当てられ、未使用です"と考えられます。この解釈を確認するために、既存のコードを変更して1つ少ないコードを割り振り、何かが壊れているかどうかを確認したい場合があります。 – gojomo
私はあなたに同意します。あなたの大きな助けをありがとう! :P –