spaCyとテキストクリーニング、 '<br /><br />'

Question

私はspaCyとpythonでsklearnのテキストを整理しようとしています。私は、ループを実行します。

for text in df.text_all: 
    text = str(text) 
    text = nlp(text) 
    cleaned = [token.lemma_ for token in text if token.is_punct==False and token.is_stop==False] 
    cleaned_text.append(' '.join(cleaned)) 

をそして、それはかなりうまく動作しますが、それはいくつかのテキストの<br /><br />内部に残します。私はそれがtoken.is_punct==Falseフィルタによって取り出されると思ったが、私はhtmlタグのようなものを探しましたが、何も見つかりませんでした。誰でも私ができることを知っていますか？

import re 

# ... 
cleaned = [token.lemma_... 

clean_regex = re.compile('<.*?>') 
cleantext = re.sub(clean_regex, '', ' '.join(cleaned)) 

cleaned_text.append(cleantext) 

注：

Answer 1

あなたは正規表現を使用することができ、あなたのテキストが（<br />タグ以外の）「<」文字が含まれている場合、このメソッドは

は、この情報がお役に立てば幸い動作しません！