CSVファイルから「VBD」と「VBN」を除くすべてのPOSタグを削除するにはどうすればよいですか？

Question

私のCSVファイルから、特定の品詞タグVBDとVBNでタグ付けされた単語を削除します。次のコードを入力した後：「範囲外のリストインデックスはIndexError」：しかし、私はエラーを取得しています

for word in POS_tag_text_clean: 
    if word[1] !='VBD' and word[1] !='VBN': 
     words.append(word[0]) 

私のCSVファイルには、10人の口コミ（10件）を持ち、行名はCommentです。ここで

は私の完全なコードです：

df_Comment = pd.read_csv("myfile.csv") 

def clean(text): 
    stop = set(stopwords.words('english')) 
    exclude = set(string.punctuation) 
    lemma = WordNetLemmatizer() 
    tagged = nltk.pos_tag(text) 

    text = text.rstrip() 
    text = re.sub(r'[^a-zA-Z]', ' ', text) 
    stop_free = " ".join([i for i in text.lower().split() if((i not in stop) and (not i.isdigit()))]) 
    punc_free = ''.join(ch for ch in stop_free if ch not in exclude) 
    normalized = " ".join(lemma.lemmatize(word) for word in punc_free.split()) 
    return normalized 

text_clean = [] 
for text in df)Comment['Comment']: 
    text_clean.append(clean(text).split()) 
print(text_clean) 

POS_tag_text_clean = [nltk.pos_tag(t) for t in text_clean] 
print(POS_tag_text_clean) 


words=[] 
for word in POS_tag_text_clean: 
    if word[1] !='VBD' and word[1] !='VBN': 
     words.append(word[0]) 

は、どのように私は、エラーを修正できますか？

Answer 1

これは一例と対応する出力せずに、あなたの問題を理解することは少し難しいですが、それはこのようになります。

textが文字列であると仮定すると、text_cleanはどこごと、文字列のリストのリストになりますstringは単語を表します。品詞タグ付けの後では、POS_tag_text_cleanは、単語とそのタグを含むタプルのリストのリストになります。

私が正しいとすれば、変数の名前が示すように、最後のループは実際には単語の代わりにデータフレームから項目をループします。アイテムに単語が1つしかない場合（clean()にたくさんフィルタをかけているため）、word[1]へのコールは失敗し、報告したものと似たエラーが表示されます。

代わりに、このコードを試してみてください。タイトルに

words = [] 
for item in POS_tag_text_clean: 
    words_in_item = [] 
    for word in item: 
     if word[1] !='VBD' and word[1] !='VBN': 
     words_in_item .append(word[0]) 
    words.append(words_in_item)