ワード重みのソース？

Question

私は非常に基本的な結果ランク付けアルゴリズムを構築しています。私が望むのは、与えられたフレーズでどの単語が一般に重要かを判断する方法です。正確ではなく、一般的なものである必要はありません。

明らかに、名前を識別する4文字の下に任意の単語を削除します。しかし、他のどのような方法で、最も重要な3つの単語を1つの文で選ぶことができますか？

Answer 1

他の情報がない場合、重要な単語はまれな単語であると仮定することは公正です。各単語があなたの文書のセットに何回現れるかを数えます。カウントが最も低い単語が重要ですが、カウントが最も高い単語はそれほど重要ではありません（ほとんど無意味ではない場合）。

関連読書：

• http://en.wikipedia.org/wiki/Stop_words
• http://en.wikipedia.org/wiki/Googlewhack
• http://en.wikipedia.org/wiki/Statistically_Improbable_Phrases