2017-06-28 13 views
0

自然言語処理でデータの精度を%で求めるにはどうすればよいですか?apacheを使用した自然言語処理OpenNLP

プロセスは、サイズの映画のレビューファイルを使用したトレーニング目的のために

以下のように続いて、新鮮な映画のレビューは、レビューがポジティブであるかどうかを判断するために、来たら映画レビューデータ

の精度を見つけよう200 MBのレビューコメントとそれに対応する評価を有する400 MB。ファイル内の評価に基づいて

は言葉のバッグを実装などのため に近づく:言葉の袋を実装しながら評価> 5は、その後、他の良いバッグ悪い袋

にそれを置く場合NLP技術の下に使用されるアプローチ

  • 特殊文字の除去などをステミング
    1. トークン化
    2. ストップワード除去

    バッグは、新鮮な口コミを、準備ができたら、次に前述したように、新鮮なレビューがポジティブであるかどうかを決定することに基づいて、いずれか大きい方善と悪の袋に意味計算の袋に見上げるNLPの技術を使用して、コメント。

    精度を%で把握する方法をお勧めしますか?

  • 答えて

    0

    データを列車のテストセットに分割します。次に、テストで訓練されたモデルを訓練したモデルを評価します(精度を%で計算します)。より信頼性の高い結果を得るには、クロス・フォールディングの方法で評価することができます。

    関連する問題