hmmlearnを使って英語のテキストを分類するには？

Question

古典的なマルコフモデルの問題を実装したい：英語のテキストパターンを学習するためにMMを訓練し、それを使って英語テキストとランダムな文字列を検出する。

私はhmmlearnを使用することに決めました。私は自分自身を書く必要はありません。しかし、私はそれを訓練する方法について混乱しています。それは、HMMのコンポーネントの数を必要とするようですが、英語のための妥当な数字は何ですか？また、隠されているのではなく、単純な高次マルコフモデルを実行することはできますか？恐らく興味深いのは、隠れた状態ではなく、ngramのパターンです。

Answer 1

hmmlearnは、HMMの教師なし学習用に設計されていますが、問題は明確に管理されています。英語とランダムな文字列の例を挙げて、2つを区別する方法を学びます。また、あなたが正しく指摘したように、隠れた状態の概念はテキストデータを定義するのが難しいので、問題のためにプレーンなMMが適切でしょう。私はあなたがそれらを<のPythonで100行のコードに実装できるはずだと思います。