Ruby：文字列の中で最も一般的なフレーズを見つけよう

Question

Rubyでは、よくある10の質問を300-500文字列の配列で探したいと思っています。

ている例要素[「HI、私はあなたの製品をしたいと思います。私はちょうど1つの質問があります。どのように私は 自分のパスワードを変更できますか？」、「誰かが私は私がどのように変化するかを教えてもらえます「パスワードを忘れましたか？」、 ..... "、" キャンセル "、"パスワードを忘れました。どのようにパスワードを変更しますか？ "、" ..... "、" I には余裕がありません。 ]

基本的に、私はたくさんの文字列の配列を持つつもりです、そして、私はquestioその配列から最もよくある10の質問を見つけます。

私は周りを見回してみました（nグラムをチェックアウトしましたが、あまり関連性がないと思われました）、まだアイデアを思いついていません。

私が見てみると思われるアルゴリズムについて知っていますか？カップルの例へのリンクはすばらしいでしょう！

Answer 1

私は、実際にどの文字列（または部分文字列）が実際に質問であるかを実際に判断することになります。それを考えるのは簡単ですが、 "？"を探すことになりますが、あなたの要求に応じて、それをさらに高めることができます。それはあなたの仕事のほうが簡単かもしれません。

文字列のリスト（これは疑問に思われる）を取得したら、同様のものをクラスタ化して10個の最大ビンを返す必要があります。最善の方法は、セマンティック+構文ベースのアプローチを組み合わせることです。あなたはおそらくthis paperを見ることができます。なぜなら、彼らは2つの文字列の間の類似点を見つける問題に取り組んでいるようです。彼らはなぜ二元的な統語論的意味論的アプローチが必要であるかといういくつかの説得力のある理由を提示する。

Answer 2

特別なアルゴリズムについてわからない

が、私は、このタスクを割り当てられている場合：

array = ["my account is locked.", "can i have the account password to my account?", "what's my password?"] 

array.map! {|x| x.split(' ')} #make each sentence an element 

word_freq = Hash.new(0) 

i = 0 
while i < array.length 
array[i].each {|x| word_freq[x] += 1} 
i += 1 
end 

word_freq.each {|m, x| puts "#{m} appears #{x} times"} #words are now keys with frequency values 

print word_freq.keys #an array of key words to mess with