非構造化テキストを分析するにはどうすればよいですか？

Question

TF-IDFを使用して、私の辞書の構築に役立つ重量に影響を与えます。私のモデルは、構造化されていないテキストがあるため、実際には十分ではありません。

TF-IDF同様のアルゴリズムに関する任意の提案ですか？

Answer 1

あなたは、あなたのモデルが十分ではないと言う、それはあなたの生成された辞書が十分ではないことを意味するのでしょうか？重要用語を抽出し、TF-IDF重みを使用して辞書を構築することは、実際には特徴選択ステップである。機械学習における他の特徴選択手法のモデルのための特徴を抽出したり選択することが

、あなたは主成分分析のような他のアプローチに従うことができ、潜在意味解析なども多く便利です！

しかし、私は本当に感情の分類タスクのために信じて、TF-IDFは、辞書を構築するための非常に良いアプローチする必要があります。むしろ、フィーチャー選択のアプローチを批判するのではなく、モデルパラメーターを調整することをお勧めします。

あなたの対象タスクに適用可能なだけでなく、多くの深い学習技術があります。