テキストからストップワードを削除すると、スタンフォードコアのnlp NERのパフォーマンスに影響しますか？

Question

私たちは何百万というコメント/フィードバックで名前エンティティの認識を実装しようとしており、プロセスは遅いようです。私たちは、ストップワード/頻繁な単語をテキストから取り除き、それらにテキストを適用することを考えています。ストップワードを削除しても、その精度に影響しますか？

Answer 1

ストップワードを削除した文章を実行すると、F1スコアが高くなると思います。最終的には、それを試して、品質があなたのニーズに合っているかどうかを確認する必要があります。