NLTKのNEタグConllCorpusReader

Question

私はCoNLLCorpusReaderをCoNLL2003データセットに使用しようとしています。このデータセットは、4列（一例）を含んでいます

WORD  POS CHUNK NE 
U.N.  NNP I-NP I-ORG 
official NN I-NP O 
Ekeus  NNP I-NP I-PER 
heads  VBZ I-VP O 
for  IN I-PP O 
Baghdad NNP I-NP I-LOC 
.   .  O  O 

私はコーパスを作成し、それが動作する - 私はPOSタグとチャンクタグと言葉、sentsとタプルを取得することができます。

質問は、どのように私のコーパスから名前付きエンティティタグを取得できますか？私はcorpus.raw（）メソッドがあることを知っていますが、実際にcorpus.iob_words（）のようなものでそれを取得する方法はありませんか？私はこの問題を発見しました：https://github.com/nltk/nltk/issues/63しかし、このcorpusReaderの最新バージョンでは、取得したい列のリストを変更するために使用できる追加の引数はiob_wordsメソッドにありません。

Answer 1

自分自身を助ける必要があるように見えます。これを試してみてください。ConllCorpusReaderを拡張して、iob_words()にNE列を選択するように指示することができます。これは、デフォルトのCHUNK列の代わりに使用されます。 iob_sents()chunked_words()およびchunked_sents()も同様に修正されるべきである。

class betterConllReader(ConllCorpusReader): 

    def iob_words(self, fileids=None, tagset=None, column="chunk"): 
     """ 
     :return: a list of word/tag/IOB tuples 
     :rtype: list(tuple) 
     :param fileids: the list of fileids that make up this corpus 
     :type fileids: None or str or list 
     """ 
     self._require(self.WORDS, self.POS, self.CHUNK) 
     def get_iob_words(grid): 
      return self._get_iob_words(grid, tagset, column) 
     return LazyConcatenation(LazyMap(get_iob_words, self._grids(fileids))) 

    def _get_iob_words(self, grid, tagset=None, column="chunk"): 
     pos_tags = self._get_column(grid, self._colmap['pos']) 
     if tagset and tagset != self._tagset: 
      pos_tags = [map_tag(self._tagset, tagset, t) for t in pos_tags] 
     return list(zip(self._get_column(grid, self._colmap['words']), pos_tags, 
        self._get_column(grid, self._colmap[column]))) 

ハードコードされた"chunk"をキーワード引数に置き換えていました。もう少し作業すれば、複数の列を選択することができます（iob_*()の場合はchunked_*()バリアントの場合はそれほど明確ではありません）。