countvectorizer

0熱

1答えて

CountVectorizer MultinomialNB ValueError：ディメンションの不一致

私はMultinomialNBの作業をしようとしています。私はトレーニングとテストセットでCountVectorizerを使用していますが、もちろん両方のsetzには異なる単語があります。だから私は、なぜエラーが表示される ValueError: dimension mismatch が発生しますが、私はそれを修正する方法はわかりません。私はCountVectorizerは右どのように使用でき

machine-learning scikit-learn naivebayes multinomial countvectorizer 2017-08-07

---

0熱

1答えて

Sklearn：CountVectorizerにlemmatizerを追加する

Sklearn pageで説明されているように、私のカウントベクトルにlemmatizationを追加しました。 fit_transformを使用してDTMを作成するときに from nltk import word_tokenize from nltk.stem import WordNetLemmatizer class LemmaTokenizer(object): def

python scikit-learn lemmatization countvectorizer 2017-11-21

---

2熱

1答えて

ベクトラ私は医療テキストデータとデータセットを持っていると私は彼らに、TF-IDFベクトライザーを適用し、ちょうどこのような言葉のためにIDFスコアtfを計算するPythonの

内の単語の組み合わせ： import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer as tf vect = tf(min_df=60,stop_words='english') dtm = vect.fit_transform(df) l=vect.get_feature_names(

python scikit-learn nlp tf-idf countvectorizer 2017-08-15

---

0熱

1答えて

sklearn CountVectorizer

私はvocabulary_.getを使用して疑問を呈しています。コードは次のとおりです。 以下に見られるように、特定の単語の出現回数を得るために、機械学習練習の1つでCountVectorizerを使用しました。 from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer()

python-2.7 machine-learning scikit-learn countvectorizer 2017-10-09

---

0熱

1答えて

配列とリストからさまざまなトークンカウント統計を得るより効率的な方法

私は電子メールテキストのリスト（CSV形式で保存されています）からスパムを分類していますが、これを行う前に、出力。私は、最初のステップとしてsklearnからCountVectorizerを使用し、次のコード import pandas as pd import numpy as np from sklearn.model_selection import train_test_split

python arrays scikit-learn countvectorizer 2017-08-21

---

0熱

1答えて

CountVectorizer MultinomialNBのディメンション不一致エラー

この質問を投稿する前に、私はこのボードで15以上の類似したトピックを徹底的に読んだことがありますが、それぞれ異なる推奨事項がありますが、 私は、CountVectorizerとその 'fit_transform'関数を使ってコーパスの語彙に合わせて、テキストから単語数の特徴を抽出することで、元のCSV形式のテキストデータをトレーニングとテストのセットに分割しました。そして、MultinomialN

python naivebayes countvectorizer train-test-split 2017-08-21

---

0熱

2答えて

すべての前処理が精度を悪化させます

ロジスティック回帰モデルを使用してグリッド検索の相互検証を実行しています。私はまずデフォルトモデルを持っていて、次にデータを前処理しなければなりません。データはランダムなテキスト文書で、4つのカテゴリのいずれかに分類されます。私のプリプロセッサは、以下のようにデータを返すだけであっても、私の精度とf1のスコアを悪化させるようです。 gridsearchがこの前処理をパスした後に選ぶ正則化パラメータ

python scikit-learn countvectorizer 2017-07-04

---

0熱

1答えて

CountVectorizer変換後の予期しない疎行列

私はNLTKで新しく、レビューのための分類子の作成に問題があります。 私は、入力として渡されたデータは、形状（10000,1）であったとき、変換されたデータの形状は1 * 1スパース行列であるかを理解することができません 私は、元のレビューデータを処理しています少し。ストップワードの削除、句読点のステミングと削除など。 私はどこが間違っているのかについて助けが必要であり、問​​題を見つけるためにさ

python python-3.x nltk countvectorizer 2017-12-10

---