削除することができませんでしストップワード、NLP

Question

私は「訴状詳細」2列を含むCSVファイルを持っており、ドアは内側からロックされた「などのDispositionCode'.Iが8異なるクラスdispostionCodeのに complaintDetailsを分類にしたいです 『』 、 'Vendor error'、 'Missing key or lock' ... データセットが画像に表示されます。 enter image description here

どのような分類方法を使用して精度を判断するのがよいでしょうか。

import csv 
from nltk.corpus import stopwords 
from nltk.tokenize import word_tokenize 
your_list=[] 
with open('H:/Project/rash.csv', 'r') as f: 
    reader = csv.reader(f) 
    your_list = list(reader) 
print(your_list) 
stop_words=set(stopwords.words("english")) 
words= word_tokenize(your_list) 
filteredSent=[] 
for w in words: 
    if w not in stop_words: 
     filteredSent.append() 
print(filteredSent) 

しかし、私は次のエラーを取得しています：

は当初、私はComplaintDetailsからストップワードを削除するとしようとしていますし、その後naivebayes分類器を使用し

コードは以下のとおりである -

self._lang_vars.period_context_re（）に一致するようにします。finditer（text）： TypeError：予期される文字列またはバイト状のオブジェクト

Answer 1

word_tokenize()のエラーが原因でコードがストップワードになることはありません。これは、データセット全体ではなく、単一の文字列で呼び出す必要があります。

for row in your_list: 
    row[0] = word_tokenize(row[0]) 

これでコードの残りの部分を再考する必要があります。あなたは文のリスト全体を持っています。上記のようなループを使用して、一度に1つの文の単語を調べます。