ワンホットエンコーディング値を実数ベクトルに換算する方法は？

Question

Word2Vecで

、私はCBOWの両方とスキップグラムは、ベクトル（cmiiw）を作成するために、ワンホットエンコーディング値を生成することを学んだ、私は計算したりへのワンホットエンコーディング値を表しする方法を疑問に思う実数値このことから ：例えば、ベクター、（DistrictDataLab's Blog about Distributed Representationsソース）： へ： 助けてください、私は、この情報を見つけることに苦労しました。

Answer 1

word2vecアルゴリズム自体はインクリメンタル多様な寸法値で、実数値ベクトルを学習するものです。ワンホットエンコーディングとは対照的に

は、これらのベクターはしばしば「密埋め込み」と呼ばれています。多くのディメンションとほとんどゼロの値を持つ「まばらな」ワンホットエンコードとは異なり、ディメンションは少なく、ゼロ値はありません。別の連続座標系に個別の単語セットを「埋め込む」ため、「埋め込み」です。

あなたは密な埋め込みが行われているかの完全な正式な説明についてはoriginal word2vec paperを読みたいと思います。

しかし、密集したベクトルは完全にランダムに開始するので、最初はアルゴリズムの内部神経回路網は隣接する単語を予測するのに役に立たない。しかし、テキストコーパスからの各（文脈）→（ターゲット）単語訓練例は、ネットワークに対して試行され、所望の予測との差が、より良い予測のために小さなナッジを適用するために使用されるたびに、および内部ネットワーク重み値が含まれます。

初めに大きなナッジ（より高い学習率）を繰り返し、次により小さなナッジを使用すると、密度の高いベクトルは、最初のランダム性から有用な相対配置まで座標を並べ替えます。モデル自体の限界を考慮して、トレーニングテキストを予測することが可能です。つまり、いくつかの例では予測を改善し、他のものはそれを悪化させ、他の人には悪化させるため、訓練を検討することもできます）。

次に、結果の密な埋め込み実数値ベクトルをモデルから読み込み、近くの単語の予測以外の目的でそれらを使用してください。