カスタム文法を使ったNLP nltk

Question

こんにちは、このS-> NNP VBZ NNPのような文法があるとしましょう。しかし、NNPの数は膨大でファイル内に数多く存在します。それを文法に直接ロードするにはどうしたらいいですか？あるいは、すべての単語を指定するのではなく、どのように文法がコーパスから単語を取り出すことができるでしょうか？

lexicon = {} 
with open('path/to/the/files/NNP.txt', 'r') as NNP_File: 
    # 'with' automatically closes the file once you're done 
    # now update the 'NNP' key in your lexicon with every word in the file. 
    # a set seems like a good idea but it depends on your purposes 
    lexicon['NNP'] = set(NNP_File.readlines()) 

この設定が適しています：あなただけのラインで読み取ることにより、辞書を作りたい、各POSは、別々の行にそのタグを持つすべての可能な単語からなる独自のテキストファイルを持っていると仮定すると、

Answer 1

いくつかの単語が指定された品詞のものかどうかを調べる。それはあなたが構築している何のために良いでしょう場合にも、周りにそれを反転し、言葉のキーにすることができます：

for word in NNP_File.readlines(): 
    if lexicon.has_key(word): 
     lexicon[word].update(['NNP']) 
    else: 
     lexicon[word] = set(['NNP']) 

テキストファイルが別の方法をフォーマットされている場合は、別のアプローチを取る必要があります。あなたが言及した形式の文法ラインを生成するためにEDIT、あなたが何かのように、

with open('path/NNP.txt', 'r') as f: 
    NNP_terminal_rule = 'NNP -> ' + '|'.join(f) 
    # str.join() takes an iterable, so the file object works here.