NLTKステミングは単純なケースに合格しません

Question

私はNLTKを初めて使用しており、ステミングケースでステマー機能を使用しています。

私は処理する簡単な例文を持っています： "ライトオンをオンにする"。私は、NLTKステマーがタイプミス「ライトイン」を除外するのに役立つかどうかを見たいと思っています。私は "ライティング"でステマーをテストしました。そしてsnowBallステマーは正しい単語 "light"を返しますが、snowBallステマーはテストで "lightin"を返します。

私の派生プロセスは非常に簡単です：

tokens = "Turn on the lightin" 
for token in tokens: 
    print("SnowBall Lemmatizer: "+snowBallStemmer.stem(token)) 

NTLKのdocによると、snowBallStemmerは英語を止めるために使用することができます。私はsnowBallStemmerが "lightin"を止められなかった理由と、これを解決するために何ができるかを知りたい。

Answer 1

が生じる前に、スペルチェッカ（例えばpyenchant）を実行してみましょう：

>>> import enchant 
>>> from nltk.stem import SnowballStemmer 

>>> d = enchant.Dict("en_US") 
>>> d.suggest('lightin') 
['lighting', 'lighten', 'light in', 'light-in', 'lightning', 'lightering', 'sighting', 'light', 'flitting', 'Litton'] 

>>> snowball = SnowballStemmer('english') 
>>> snowball.stem(d.suggest('lightin')[0]) 
u'light' 

>>> sent = "Turn on the lightin".split() 
>>> [snowball.stem(word if d.check(word) else d.suggest(word)[0]) for word in sent] 
[u'turn', 'on', u'the', u'light']