NLTK tokenizerを使用して句読点を取り除くにはどうすればよいですか？

Question

私はちょうどNLTKを使い始めており、テキストから単語のリストを取得する方法はあまりよく分かりません。 nltk.word_tokenize()を使用すると、単語と句読点のリストが表示されます。代わりに言葉だけが必要です。どのようにして句読点を取り除くことができますか？また、word_tokenizeは複数の文章では機能しません。最後の単語にドットが追加されます。

Answer 1

コメントで気付いたのは、sent_tokenize（）で始まります。なぜなら、word_tokenize（）は単一の文でのみ機能するからです。 filter（）で句読点を除外することができます。また、Unicode文字列を持っている場合は、Unicodeオブジェクトであることを確認してください（ 'utf-8'のようなエンコーディングでエンコードされた 'str'ではありません）。

from nltk.tokenize import word_tokenize, sent_tokenize 

text = '''It is a blue, small, and extraordinary ball. Like no other''' 
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)] 
print filter(lambda word: word not in ',-', tokens) 

Answer 2

nltkが提供する他のトークン化オプションについては、hereを参照してください。たとえば、トークンとして英数字のシーケンスを選ぶと他のすべてをドロップトークナイザを定義することができます。

from nltk.tokenize import RegexpTokenizer 

tokenizer = RegexpTokenizer(r'\w+') 
tokenizer.tokenize('Eighty-seven miles to go, yet. Onward!') 

出力：私は、次のコードを使用

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward'] 

Answer 3

、すべての句読点を削除：

tokens = nltk.wordpunct_tokenize(raw) 

type(tokens) 

text = nltk.Text(tokens) 

type(text) 

words = [w.lower() for w in text if w.isalpha()] 

Answer 4

私は句読点を削除するには、このコードを使用します。

import nltk 
def getTerms(sentences): 
    tokens = nltk.word_tokenize(sentences) 
    words = [w.lower() for w in tokens if w.isalnum()] 
    print tokens 
    print words 

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ") 

そして、あなたはトークンが有効な英語の単語であるかどうかを確認したい場合は、PyEnchant

チュートリアル必要があるかもしれません：あなたは本当に句読点を削除するNLTKを必要としない

import enchant 
d = enchant.Dict("en_US") 
d.check("Hello") 
d.check("Helo") 
d.suggest("Helo") 

Answer 5

を。シンプルなPythonでそれを削除することができます。

import string 
s = '... some string with punctuation ...' 
s = s.translate(None, string.punctuation) 

またはUnicode用：

import string 
translate_table = dict((ord(char), None) for char in string.punctuation) 
s.translate(translate_table) 

、その後、あなたのトークナイザで、この文字列を使用した文字列の場合。

P.S.文字列モジュールには、（数字のような）削除可能な要素がいくつかあります。

Answer 6

私はあなたが（次のコードは、Python 3である）に一致する正規表現のいくつかの並べ替えが必要だと思う：

import string 
import re 
import nltk 

s = "I can't do this now, because I'm so tired. Please give me some time." 
l = nltk.word_tokenize(s) 
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)] 
print(l) 
print(ll) 

出力：それは句読点を削除するので

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.'] 
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time'] 

は、ほとんどの場合うまく動作するはずwordpunct_tokenizeのような正規表現のトークナイザからは得られない "not"のようなトークンを保存します。

Answer 7

以下のコードでは、すべての句読記号とアルファベット以外の文字が削除されます。彼らの本からコピーされました。

http://www.nltk.org/book/ch01.html

import nltk 

s = "I can't do this now, because I'm so tired. Please give me some time. @ sd 4 232" 

words = nltk.word_tokenize(s) 

words=[word.lower() for word in words if word.isalpha()] 

print(words) 

出力

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']