lemmatization

2熱

1答えて

PostgreSQLのto_tsvector関数は字句ではなくトークン/単語を返すことができますか？

PostgreSQLのto_tsvector機能は非常に便利ですが、私のデータセットに関しては、私が望んでいる以上に少しだけ機能します。例えば： select * from to_tsvector('english', 'This is my favourite game. I enjoy everything about it.'); は生成：'enjoy':7 'everyth':8

1熱

2答えて

Python：前処理テキスト

lemmatizerを使用して文字列を前処理して、句読点と数字を削除しようとしています。私はこれを行うには、以下のコードを使用しています。エラーは出ませんが、テキストは適切に前処理されていません。ストップワードのみが削除されますが、リーマタイミングは機能せず、句読点や数字も残ります。 from nltk.stem import WordNetLemmatizer import string i

0熱

1答えて

Scala [Seq [string]を[String]に変換しますか？（lemmatizationの後のTF-IDF）

私はscalaとspecificaly text minning（lemmatization、TF-IDF行列とLSA）を学ぼうとします。私はいくつかのテキストをlemmatizeして分類（LSA）したいと思っています。私はclouderaに火花を使用します。だから私はstanfordCore NLPのfonction使用：その後 def plainTextToLemmas(text: Str

0熱

1答えて

なぜNLTK Lemmatizerは複数の単語を部分文字化できないのですか？

Quran Holy Bookの言葉を類義語化しようとしましたが、一部の言葉では類義語は使用できません。 sentence = "Then bring ten surahs like it that have been invented and call upon for assistance whomever you can besides Allah if you should be trut

1熱

1答えて

例外の形式の場合：TypeError：unhashable type：Pythonの 'list' nltk

次のエラーが発生しました。 if form in exceptions: TypeError: unhashable type: 'list' 以下は私のコードです。 from nltk.tokenize import word_tokenize from nltk.stem.wordnet import WordNetLemmatizer sentence = 'missed you'

0熱

1答えて

Nltkのwordnet lemmatizerはすべての単語を非文字化していません

私はテキスト内の単語を字形化しようとしています。次のように私はNLTKのWordNet Lemmatizerを使用しています「漬物」例えばLIKE「ピクルス」に変わります、「RUN」に「走り」、「レーズン」「レーズン」になど： from nltk.stem import WordNetLemmatizer >>> >>> lem = WordNetLemmatizer() >>> prin

1熱

1答えて

Spacyを使ってLemmatizing

私は文章を含むリストを持っています。 list = ["I'm hoping to go jogging", "I haven't eaten in a while","where is everybody going"] 私は、上記のリストをlemmatizeと補題の持つ本来の言葉を交換したいです。 spacyを使用してどうすればよいですか？私は補題をループで印刷することができますが、私が望む

0熱

1答えて

Sklearn：CountVectorizerにlemmatizerを追加する

Sklearn pageで説明されているように、私のカウントベクトルにlemmatizationを追加しました。 fit_transformを使用してDTMを作成するときに from nltk import word_tokenize from nltk.stem import WordNetLemmatizer class LemmaTokenizer(object): def