カスタムタガーNLTK 3

Question

私は単語のPOSタグを取得するためにNLTKのデフォルトタガーで働いていますが、私は期待通りの結果を得ていない午前：

>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want a watch")) 
[('I', 'PRP'), ('want', 'VBP'), ('a', 'DT'), ('watch', 'NN')] 
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("Lets watch a movie")) 
[('Lets', 'NNS'), ('watch', 'VBP'), ('a', 'DT'), ('movie', 'NN')] 

あなたが上見ることができるように、pos_tag機能が正しくタグ単語watch。しかし、以下の場合には：

>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want to read a book")) 
[('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('read', 'VB'), ('a', 'DT'), ('book', 'NN')] 

>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want to book a ticket")) 
[('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('book', 'NN'), ('a', 'DT'), ('ticket', 'NN')] 

それは間違って単語bookのタグを予測します。 私はカスタムタガーを作ることができますが、タガを1単語だけ作成する方が好きではありません。私は単語bookのためのタガーの精度を向上させるために探しています。私はこのanswerを参照しましたが、最新のバージョンはメソッドnltk.tag._POS_TAGGERを持っていないようです。

この場合、回避策はありますか？

Answer 1

NLTK pos_tagは、デフォルトでPerceptronTaggerを使用します。しかし、他のタギーザをそれぞれのデータセットで訓練したものを使用することができます。以下の場合には

、treebank pos taggerを使用した。

import nltk 

tagger = nltk.data.load('taggers/maxent_treebank_pos_tagger/english.pickle') 
t = tagger.tag(nltk.tokenize.word_tokenize("I want to book a ticket")) 
print(t) 
# [('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('book', 'VB'), ('a', 'DT'), ('ticket', 'NN')] 
#               ^^ rightly tagged as verb 

それでも望ましい結果を得ることはありません場合は、タグ付けを変更することができます。

1つはまた予想精度のアイデアを得るためにコーパスにタグ付けを評価することができます。

>>> corpus = nltk.corpus.treebank.tagged_sents() 
>>> tagger.evaluate(corpus) 
0.9956891414041082