NLTK文脈自由文法の制作

Question

私はUnicode文字で英語以外のパーサーに取り組んでいます。そのために、NLTKを使うことにしました。

しかし、それは以下のように事前に定義された文脈自由文法を必要とします。私のアプリで

S -> NP VP 
    VP -> V NP | V NP PP 
    PP -> P NP 
    V -> "saw" | "ate" | "walked" 
    NP -> "John" | "Mary" | "Bob" | Det N | Det N PP 
    Det -> "a" | "an" | "the" | "my" 
    N -> "man" | "dog" | "cat" | "telescope" | "park" 
    P -> "in" | "on" | "by" | "with" 

は、Iは、ルールベースの文法を使用してハードコーディング最小限にすることが出来るのです。 たとえば、-edまたは-ingで終わる単語を動詞として想定できます。したがって、任意のコンテキストで動作するはずです。

どのようにNLTKにそのような文法規則を与えることができますか？または、Finite State Machineを使用して動的に生成しますか？

Answer 1

多分あなたはparse_cfg()をお探しですか？ NLTK帳のChapter 7から

：

> grammar = nltk.parse_cfg(""" 
S -> NP VP 
VP -> V NP | V NP PP 
V -> "saw" | "ate" 
NP -> "John" | "Mary" | "Bob" | Det N | Det N PP 
Det -> "a" | "an" | "the" | "my" 
N -> "dog" | "cat" | "cookie" | "park" 
PP -> P NP 
P -> "in" | "on" | "by" | "with" 
""") 

> sent = "Mary saw Bob".split() 
> rd_parser = nltk.RecursiveDescentParser(grammar) 
> for p in rd_parser.nbest_parse(sent): 
     print p 
(S (NP Mary) (VP (V saw) (NP Bob))) 

Answer 2

パーサーを作成する場合は、あなたが実際に解析する前に、POSタグ付けする工程を追加するを持っている- に成功する方法はありません文脈外の単語のPOSタグを決定する。たとえば、 'closed'は形容詞または動詞です。 POS-taggerは単語の文脈から正しいタグを見つけます。次に、POSタグャーの出力を使用してCFGを作成することができます。

既存の多くのPOSタグを使用できます。出力がされます

import nltk 
input_sentence = "Dogs chase cats" 
text = nltk.word_tokenize(input_sentence) 
list_of_tokens = nltk.pos_tag(text) 
print list_of_tokens 

：あなたは文法文字列を作成し、nltk.parse_cfg()にそれを供給するために使用することができます

[('Dogs', 'NN'), ('chase', 'VB'), ('cats', 'NN')] 

NLTKでは、あなたは、単にような何かを行うことができます。

Answer 3

今のところnltkでこの種のルールを書くことはできませんが、何か手間をかけることはできます。

たとえば、あなたの文章を単語の有益なラベルで書き換え、それに従って文法規則を書いてください。 （ラベルとしてPOSタグを使用して）例えば

：

Dogs eat bones. 

は次のようになります。

NN V NN. 

と文法端末ルールの例：

V -> 'V' 

それが十分でない場合は、あなたが取る必要がありますより柔軟な形式表現の実装を探します。

Answer 4

トークンを決定する正規表現能力を持つNLTK RegexTaggerを使用できます。これはちょうどあなたの場合に必要性が必要です。 'ing'で終わるトークンはgerundsとしてタグ付けされ、 'ed'で終わるトークンは動詞pastでタグ付けされます。以下の例を参照してください。

patterns = [ 
    (r'.*ing$', 'VBG'), # gerunds 
    (r'.*ed$', 'VBD'), # simple past 
    (r'.*es$', 'VBZ'), # 3rd singular present 
    (r'.*ould$', 'MD'), # modals 
    (r'.*\'s$', 'NN$'), # possessive nouns 
    (r'.*s$', 'NNS') # plural nouns 
] 

これらは順番に処理され、最初に一致するものが適用されます。今度は タガーを設定して、それを使用してセンテンスにタグを付けることができます。このステップの後、それは正しい時間の についてです。

regexp_tagger = nltk.RegexpTagger(patterns) 
regexp_tagger.tag(your_sent) 

あなたは順番に一括して複数のタグ付けを使用するための組み合わせるタガーを使用することができます。