パイソン - 「元に戻す」テキストラップ

Question

私は私がやったと信じて\ n文字を、テキストを取り、削除する必要があり

。次の作業は、表示されるべきではない単語からハイフンを削除することですが、表示されるはずの複合語でハイフンを残すことです。たとえば、「encyclo- \ npediaに 『『長期的 『から』百科事典』と』長期\ nterm。提案は元のテキストと比較することです。

私は何をすべきかという一般的な考え方を持っていますが、NLPは私には全く新しいものです。

Answer 1

最初のパスは、あなたのデハイフネーションされた単語が有効な単語の集合である場合の周りの有効な単語の集合とデハイフネーションを維持するだろう。 Ubuntuには/ usr/share/dict/american-englishに有効な単語のリストがあります。

valid_words = set(line.strip() for line in open(valid_words_file)) 

output = [] 
for word in open(new_file).read().replace('-\n', '').replace('\n', ' ').split(): 
    if '-' in word and word.replace('-', '') in valid_words: 
     output.append(word.replace('-', '')) 
    else: 
     output.append(word) 

あなたがなど句読点、大文字、対処しなければならないが、それはアイデアです：過度の単純なバージョンは、次のようになります。

Answer 2

import re 


with open('C:\Users\Paul\BROWN_A1.txt', 'rU') as truefile: 
    true_corpus = truefile.read() 

true_tokens = true_corpus.split(' ') 

with open('C:\Users\Paul\Desktop\Comp_Ling_Research_1\BROWN_A1_hypenated.txt', 'rU') as myfile: 

my_corpus = myfile.read() 

my_tokens = my_corpus.split(' ')