前処理されたテキストからSVOトリプルを抽出する

Question

オランダのテキストからsubject-verb-objectトリプルを抽出する必要があります。このテキストは、オランダのNLPツールFrogによって解析され、トークン化され、解析され、タグ付けされ、lemmatizedされます。 Frogは、FoLiA XMLまたはタブ区切りの列形式の出力をトークンごとに1行生成します。 XMLファイルに関するいくつかの問題のために、私は列形式で作業することを選択しました。この例は1つの文を表しています。 今私は文ごとにSVOトリプルを抽出する必要があるので、依存関係である最後の列が必要です。ですから、私はROOT要素と、ROOTに属するsuとobj1要素を取得する必要があります。残念ながら、例文にはobj1がありません。それは持っているふりをしましょう。私の考えは、最初に文ごとにリストを入れ子にしたリストを作成することでした。

import csv 
    with open('romanfragment_frogged.tsv','r') as f: 
     reader = csv.reader(f,delimiter='\t') 
     tokens = [] 
     sentences = [] 
     list_of_sents = [] 
     for line in reader: 
      tokens.append(line) 
      #print(tokens) 
      for token in tokens: 
       if token == '1': 
        previous_sentence = list_of_sents 
        sentences.append(previous_sentence) 
     list_of_sents = [] 
     list_of_sents.append(tokens) 
     print(list_of_sents) 

「トークン」を印刷すると、すべてのトークンを含む1つのリストが得られます。それは正しいですが、私はまだ文ごとに1つのリスト（トークンのリスト）を入れ子にしたリストを作成しようとしています。 誰かがこの問題を手伝ってくれますか？

（PSは第二の問題は、私はネストされたリストを得れば継続する方法を、私はよく分からないということです）

Answer 1

たぶん、このような何かが、仕事ができる：

def iter_sentences(fn): 
    with open(fn, 'r') as f: 
     reader = csv.reader(f,delimiter='\t') 
     sentence = [] 
     for row in reader: 
      if not row: 
       # Ignore blank lines. 
       continue 
      if row[0] == '1' and sentence: 
       # A new sentence started. 
       yield sentence 
       sentence = [] 
      sentence.append(row) 
     # Last sentence. 
     if sentence: 
      yield sentence 

def iter_triples(fn): 
    for sentence in iter_sentences(fn): 
     # Get all subjects and objects. 
     subjects = [tok for tok in sentence if tok[-1] == 'su'] 
     objects = [tok for tok in sentence if tok[-1] == 'obj1'] 
     # Now try to map them: find pairs with a head in the same position. 
     for obj in objects: 
      for subj in subjects: 
       # row[-2] is the position of the head. 
       if subj[-2] == obj[-2]: 
        # Matching subj-obj pair found. 
        # Now get the verb (the head of both subj and obj). 
        # Its position is given in the second-to-last column. 
        position = int(subj[-2]) 
        # Subtract 1, as the positions start counting at 1. 
        verb = sentence[position-1] 
        yield subj, verb, obj 

for subj, verb, obj in iter_triples('romanfragment_frogged.tsv'): 
    # Only print the surface forms. 
    print(subj[1], verb[1], obj[1]) 

クイック説明： iter_sentences文章を繰り返します。 各文はネストされたリストです。 トークンのリストであり、各トークンはリスト自体です（行番号、表面形式、補題、POS、依存関係などを含みます）。 iter_triples関数は、 のトリプルを繰り返し処理します。 これらのトリプルの各要素は、トークン（つまり、リスト）を表します。

コードの最後の3行は、iter_triples関数の使用例の単なる例です。 それぞれのトリプルからどれだけの情報が必要なのか分かりません...