英語以外の言語のPOS

Question

非常に新しいnltk。

これにより、品詞に従って品詞にタグを付けることができます。しかし、他の言語でこれを行うときにはどのようなステップが必要ですか？

import nltk 
sentence = "I'm not sure!" 
tokens = nltk.word_tokenize(sentence) 
tagged = nltk.pos_tag(tokens) 

UPDATE

私はスペイン語で始まるで興味を持っています。

UPDATE 2

import nltk 
from nltk.tokenize import word_tokenize 

training_set = [[(w.lower(),t) for w,t in s] for s in nltk.corpus.conll2002.tagged_sents('esp.train')] 

unigram_tagger = nltk.UnigramTagger(training_set) 
bigram_tagger = nltk.BigramTagger(train_set, backoff=unigram_tagger) 

tokens = [token.lower() for token in word_tokenize("El Congreso no podrá hacer ninguna ley con respecto al establecimiento de la religión, ni prohibiendo la libre práctica de la misma; ni limitando la libertad de expresión, ni de prensa; ni el derecho a la asamblea pacífica de las personas, ni de solicitar al gobierno una compensación de agravios.")] 

生産：

[('el', 'DA'), ('congreso', 'NC'), ('no', 'RN'), ('podrá', 'VMI'), ('hacer', 'VMN'), ('ninguna', 'DI'), ('ley', 'NC'), ('con', 'SP'), ('respecto', 'NC'), ('al', 'SP'), ('establecimiento', 'NC'), ('de', 'SP'), ('la', 'DA'), ('religión', 'NC'), (',', 'Fc'), ('ni', 'CC'), ('prohibiendo', None), ('la', 'DA'), ('libre', 'AQ'), ('práctica', 'NC'), ('de', 'SP'), ('la', 'DA'), ('misma', 'DI'), (';', 'Fx'), ('ni', 'CC'), ('limitando', None), ('la', 'DA'), ('libertad', 'NC'), ('de', 'SP'), ('expresión', 'NC'), (',', 'Fc'), ('ni', 'CC'), ('de', 'SP'), ('prensa', 'NC'), (';', 'Fx'), ('ni', 'CC'), ('el', 'DA'), ('derecho', 'NC'), ('a', 'SP'), ('la', 'DA'), ('asamblea', 'NC'), ('pacífica', 'AQ'), ('de', 'SP'), ('las', 'DA'), ('personas', 'NC'), (',', 'Fc'), ('ni', 'CC'), ('de', 'SP'), ('solicitar', 'VMN'), ('al', 'SP'), ('gobierno', 'NC'), ('una', 'DI'), ('compensación', 'NC'), ('de', 'SP'), ('agravios', None), ('.', 'Fp')] 

Answer 1

NLTK私の知る限り、英語以外の言語のタガーやパーサーを使用する準備が付属していません。 nltkの外部には、ダウンロードして使用できるツールがあります。

nltkは、スペイン語のタグ付きコーパスの1つをトレーニング資料として使用して、独自のタガーをスペイン語に訓練するツールを提供しています。たとえば、building a taggerのnltkの指示に従うことができますが、conll2002.tagged_sents("esp.train")をトレーニングデータとして使用します。それは約250Kの言葉しかないので、あなたは素晴らしいパフォーマンスを得ることはできませんが、それはあなたを始めるはずです。 （そしてもちろん、あなたはより大きなタグ付きコーパスを訓練することができます。）