パラグラフベクトルの概念が理にかなっているのはなぜですか？

Question

段落ベクトルモデリングでは、段落をメモリ情報として参照し、目的語を予測するためのコンテキストワードを参照します。私はなぜ段落が目的の単語を予測するのに有益な情報になるのか理解できません。 段落に目的の単語を含める必要がありますか？ 1

誰でも私にそれを行う方法の例を教えてもらえますか？ここには何がありますか？段落IDも1つのホット段落ベクトルですか？

たとえば、段落A、B、Cおよび単語a、b、c、d、e、f、gがあります。 Bはabcdefgのシーケンスです。 文書はA + B + C です。この文書を訓練したいと思えば、単語dを予測したいと思います。 入力段落とは何ですか？ ウィンドウサイズが7の場合、入力はa、b、c、e、f、gのホットワードベクトルでなければなりません。

Answer 1

投稿した画像はQuocの文章と文書の分散表現LeとTomas Mikolov。段落ベクトルの詳細な説明は2.2節で見つけることができます。

単語の埋め込みをトレーニングするとき、通常、特定の単語の近傍から単語のベクトルを取ります。段落の埋め込みを使用する場合は、処理する各トレーニングサンプルごとに1つの単語を追加すると考えることができます。これは文脈として選択された少数の言葉だけではなく、段落全体を説明するよりグローバルな単語のようなものです。

段落の表現は単語の表現と同じです。コーパスが処理されている間、あなたはワンホットベクターでどの段落を使用したいのかをエンコードしており、段落の埋め込み自体は訓練されています。訓練中に、あなたは再び、それについて、あるパラグラフのあらゆる文脈に挿入された隠された単語として考えることができます。

隠しレイヤの値を計算するときに、追加またはconcetatingを使用できます。私が言及した論文はconcetatingを使用しているので、結果のベクトルは単語の埋め込みから計算された半分の段落のベクトルと半分のベクトルです。