spacyを使用したスト​​ップワードの追加/削除

Question

spacyを使用してストップワードを追加/削除する最良の方法は何ですか？私はtoken.is_stop機能を使用しており、お手入れのためにいくつかの変更を加えたいと思います。私はドキュメンテーションを見ていましたが、ストップワードに関しては何も見つかりませんでした。ありがとう！

Answer 1

あなたは（this postを参照）、このようなあなたのテキストを処理する前に、それらを編集することができます

>>> import spacy 
>>> nlp = spacy.load("en") 
>>> nlp.vocab["the"].is_stop = False 
>>> nlp.vocab["definitelynotastopword"].is_stop = True 
>>> sentence = nlp("the word is definitelynotastopword") 
>>> sentence[0].is_stop 
False 
>>> sentence[3].is_stop 
True 

注：これは< = V1.8を動作するようです。新しいバージョンについては、他の回答を参照してください。

from spacy.lang.en.stop_words import STOP_WORDS 

print(STOP_WORDS) # <- set of Spacy's default stop words 

STOP_WORDS.add("your_additional_stop_word_here") 

for word in STOP_WORDS: 
    lexeme = nlp.vocab[word] 
    lexeme.is_stop = True 

はこれがセットにすべてのストップワードをロードします。

Answer 2

は、バージョン2.0のために私はこれを使用していました。

ストップワードをSTOP_WORDSに修正するか、最初に独自のリストを使用することができます。