NLTKタグオランダ文

Question

NLTKで始まり、オランダ語の文章にタグを付けるが、コーパスを指定するのに問題がある。

from nltk.tag import pos_tag 
from nltk.tokenize import word_tokenize 
from nltk.corpus import alpino 

pos_tag(word_tokenize("Python is een goede data science taal."), tagset = 'alpino') 

だから明らかに私が正しくコーパスを指定していない午前、

[('Python', 'UNK'), 
('is', 'UNK'), 
('een', 'UNK'), 
('goede', 'UNK'), 
('data', 'UNK'), 
('science', 'UNK'), 
('taal', 'UNK'), 
('.', 'UNK')] 

を与えます。私はアルピノコーパスをダウンロードしました。コーパスを正しく指定する方法を誰かに教えてもらえますか？

Answer 1

デフォルト、あなたをロールバックするalpinoコーパスに新しいタグ付けを訓練しなければなりません独自のオランダのタガー。

しかし、モデルがほど良くなりますのでご注意：それはUnigramTaggerとBigramTagger例から

で訓練されたアルゴリズム

に訓練されているどのデータ

• ：

  >>> from nltk.corpus import alpino as alp 
  >>> from nltk.tag import UnigramTagger, BigramTagger 
  >>> training_corpus = alp.tagged_sents() 
  >>> unitagger = UnigramTagger(training_corpus) 
  >>> bitagger = BigramTagger(training_corpus, backoff=unitagger) 
  >>> pos_tag = bitagger.tag 
  >>> sent = 'NLTK is een goeda taal voor NLP'.split() 
  >>> pos_tag(sent) 
  [('NLTK', None), ('is', u'verb'), ('een', u'det'), ('goeda', None), ('taal', u'noun'), ('voor', u'prep'), ('NLP', None)] 
  

  PerceptronTagger：

  >>> from nltk.tag import PerceptronTagger 
  >>> from nltk.corpus import alpino as alp 
  >>> training_corpus = list(alp.tagged_sents()) 
  >>> tagger = PerceptronTagger(load=True) 
  >>> tagger.train(training_corpus) 
  >>> sent = 'NLTK is een goeda taal voor het leren over NLP'.split() 
  >>> tagger.tag(sent) 
  [('NLTK', u'noun'), ('is', u'verb'), ('een', u'det'), ('goeda', u'adj'), ('taal', u'noun'), ('voor', u'prep'), ('het', u'det'), ('leren', u'noun'), ('over', u'prep'), ('NLP', u'noun') 
  

  @WasiAhmedが指摘したように、これは別の良い例です：https://github.com/evanmiltenburg/Dutch-taggerと@evanmiltenburgはgithubの上で述べたように、生産の高速化tagggerを使用するようにしてください。

  鬼を評価するために

  編集

  ---

  、次のようなtest_setを保持することができます：

  >>> from nltk.tag import PerceptronTagger 
  >>> from nltk.corpus import alpino as alp 
  >>> alp_tagged_sents = list(alp.tagged_sents()) 
  >>> len(alp_tagged_sents) 
  7136 
  >>> last_train_sent = int(len(alp_tagged_sents)/10 * 9) 
  >>> train_set = alp_tagged_sents[:last_train_sent] 
  >>> test_set = alp_tagged_sents[last_train_sent:] 
  

  その後.evaluate()関数の入力があり、精度を得るためにtagger.evaluate()機能を使用.train()関数の入力と同じです。つまり、文のリストです。各文は、('word', 'tag')タプルのリストです。

  >>> tagger = PerceptronTagger(load=False) 
  >>> tagger.train(train_set) 
  >>> tagger.evaluate(test_set) 
  0.927672285043738 
  

Answer 2

このタガー（https://github.com/evanmiltenburg/Dutch-tagger）を使用すると、dutch文にタグを付けることができます。精度は97％です。

（PerceptronTaggerを使用）例

from nltk.tag.perceptron import PerceptronTagger 

# This may take a few minutes. (But once loaded, the tagger is really fast!) 
tagger = PerceptronTagger(load=False) 
tagger.load('model.perc.dutch_tagger_small.pickle') 

# Tag a sentence. 
tagger.tag('Alle vogels zijn nesten begonnen , behalve ik en jij .'.split()) 

nltk.pos_tagは、英語のテキストのために訓練された出力

[('Alle', 'det__indef'), ('vogels', 'nounpl'), ('zijn', 'verbprespl'), ('nesten', 'nounpl'), ('begonnen', 'verbpapa'), (',', 'punc'), ('behalve', 'conjsubo'), ('ik', 'pronpers'), ('en', 'conjcoord'), ('jij', 'pronpers'), ('.', '$.')]