word2vecを使用するときのストップワードの削除

Question

私は今、gensimのword2vecライブラリを使用してword2vecをしばらく試しています。私の質問は、入力テキストからストップワードを削除する必要がありますか？私の最初の実験結果に基づいて、私はmodel.most_similar('someword')を実行したときに「いつ」、「いつ...」（ストップワード）のような単語が現れるのでしょうか？

しかし、私はword2vecで停止単語の削除が必要であると言及していませんでしたか？あなたがそれらを削除しない場合でも、word2vecはストップワードを処理するはずですか？

前処理の必要事項（トピックモデリングのように、ストップワードの削除を行う必要があります）は何ですか？

Answer 1

個人的に私は、ストップワードの除去は、より良い結果を与えるトピックモデリングにもlink

をチェックすると思います、あなたはあなたがしなければならない事柄以下、テキストの上に前処理を行うshlouldの

1. 削除ストップワード。
2. Tokenization.
3. Stemming and Lemmatization。

Answer 2

word2vecのオリジナルのTomas Mikolovモデルに基づいたGensimの実装では、すべての頻繁な単語を自動的に頻度に基づいてダウンサンプリングします。それが意味することは、これらの言葉は予測される言葉の窓では考慮されないということです。デフォルトの0.001であるサンプルパラメータは、それらの単語を整理するためのパラメータとして使用されます。頻度に基づいて削除されない特定のストップワードを削除する場合は、そのストップワードを削除できます。 要約：単語の削除を停止すると、結果は大きな違いはありません。