scikit-learn：トークン化中にハイフネーションされた単語を分離しないでください。

Question

私はCountVectorizerを使用していて、ハイフネーションされた単語を別のトークンに分けたくありません。私はtoken_pattern引数に異なる前置詞パターンを渡そうとしましたが、目的の結果を得ることができませんでした。

pattern = r''' (?x)   # set flag to allow verbose regexps 
([A-Z]\.)+   # abbreviations (e.g. U.S.A.) 
| \w+(-\w+)*  # words with optional internal hyphens 
| \$?\d+(\.\d+)?%? # currency & percentages 
| \.\.\.   # ellipses ''' 

text = 'I hate traffic-ridden streets.' 
vectorizer = CountVectorizer(stop_words='english',token_pattern=pattern) 
analyze = vectorizer.build_analyzer() 
analyze(text) 

は私も以前の質問で提案されているようにnltkのregexp_tokenizeを使用しようとしましたが、それは行動が同様に変更されているように見えるのです。

は、ここで私がしようとしているものです。

Answer 1

注意すべき点がいくつかあります。最初は、それらのスペース、改行、およびコメントをすべてパターン文字列に追加すると、それらの文字すべてが正規表現の一部になります。ここを参照してください：

import re 
>>> re.match("[0-9]","3") 
<_sre.SRE_Match object at 0x104caa920> 
>>> re.match("[0-9] #a","3") 
>>> re.match("[0-9] #a","3 #a") 
<_sre.SRE_Match object at 0x104caa718> 

秒あなたは、文字列内のあなたの正規表現パターンを構築する際に特別なシーケンスをエスケープする必要があるということです。たとえば、pattern = "\w"は実際にはpattern = "\\w"である必要があります。あなたがこれらの事柄を説明したら、あなたはあなたの望むトークナイザ用の正規表現を書くことができるはずです。たとえば、あなたはこのような何かが動作するハイフンを追加したい場合：

>>> from sklearn.feature_extraction.text import CountVectorizer 
>>> pattern = "(?u)\\b[\\w-]+\\b" 
>>> 
>>> text = 'I hate traffic-ridden streets.' 
>>> vectorizer = CountVectorizer(stop_words='english',token_pattern=pattern) 
>>> analyze = vectorizer.build_analyzer() 
>>> analyze(text) 
[u'hate', u'traffic-ridden', u'streets']