テキストカテゴリに分類する

Question

私はテキスト分類の問題に取り組んでいます。私は単語の集まりをカテゴリに分類しようとしています。はい、分類に利用できるライブラリがたくさんありますので、使用することを提案してください。

私が実装したいことを説明しましょう。言葉の

一覧（たとえば取る）：カテゴリーの

言語

C-シャープ

一覧をプログラミング

1. javaの
2. 。
   1. javaの
   2. C-シャープなど、ここで

   我々はセットを育成します：カテゴリ1にマップをプログラミングカテゴリ1. javaの

3. へ
   1. Javaのマップ。 java
   2. プログラミングはカテゴリ2.c-sharpにマップします
   カテゴリ2.C-シャープ

   にカテゴリ1.javaに210の

4. 言語マップカテゴリ2.C-シャープ
へ
5. 言語マップ
6. C-シャープマップは今、私たちは句「最高を持っていますJavaプログラミングブック単語のリスト」という言葉以下の所与のフレーズから 当社に一致している 『』：をプログラミング
   1. javaの

   「プログラミング」には2つのマップされたカテゴリ「java」&「cシャープ」がありますので、一般的な単語です。

   "java"はカテゴリ "java"にのみマップされます。

   だから、フレーズのための私たちの一致したカテゴリは、「Javaの」

   ですこれは、私の心に来たものです。このソリューションの罰金ですが、それを実現することができる、ご提案、私は行方不明です任意のもの、欠陥は何ですか

Answer 1

これはもちろん実装できます。適切なデータセット（JavaとC＃プログラミングの書籍のタイトル）にNaive BayesクラシファイアやリニアSVMを訓練する場合は、「Java」という用語をJava、「C＃」、「.NET」という用語をC＃ 、そして両方を使って "プログラミング"する。すなわち、Naive Bayes分類器は、データセットが均等に分割されている場合、「プログラミング」のような一般的な用語に対して、JavaまたはC＃のおおよその確率を学習する可能性があります。

Answer 2

可能であれば、「プログラミング集団知能」という書籍の「文書フィルタリング」の章の「Naive Classifier」の節を読んでください。例はPythonで書かれていますが、私はそれがあなたにとって大きな問題ではないことを願っています。

Answer 3

これを実装する簡単な方法は、まっすぐなLucene（または任意のテキストインデックスエンジン）を使用することです。すべての "java"例と "c＃"例を持つ別のドキュメントを1つ作成し、両方のインデックスに追加します。新しい文書を分類する、または文書内のすべての用語を分類し、索引に対して照会を実行し、最も高いスコアを持つカテゴリーを取得する。