NLP：言語解析技術とアルゴリズム

Question

状況：

私は意味し、指定されたテキスト、の深いレベルの分析を行いたい：キーワードを抽出し、重要度レベルを割り当てる

1. 能力文脈的な使用法に基づいています。
2. 表現された気分に結論を引き出す能力。のうち、かなりの意味を描く
3. 教育レベルにヒント能力（ワードはしかし、この少しを行いますが、より自動化された何か）
4. ミックスやフレーズを照合する機能と
5. 特定の通信パターンを見つける能力それは定量化され、機械によって応答するために処理され得る。

質問：

このために採用する必要があるアルゴリズムと技術のどのような？

これを実行するのに役立つソフトウェアはありますか？

Answer 1

これを行う方法を理解するときは、DARPA、CIA、FBI、および他のすべての米国諜報機関にお問い合わせください。このようなプロジェクトの契約は、数百万ドルの研究助成金を要する現在の研究項目です。 ;）

あなたはそれをレイヤーで処理し、それぞれのレイヤーで分析する必要があると言われています。 2と3の項目については、n-tuples（try、3）のSVMを訓練するのが役に立ちます。 1と4の場合、より深い分析が必要です。 NLTKのようなツールを使用するか、他の多くのパーサーの1つを使用して、文章や関連する言葉の中の主語を見つけてください。また、WordNet（プリンストンから） を使用して、最も一般的な感覚を見つけ出し、それらをキーワードとみなしてください。

5非常に厳しいですが、私は考えて上記のデータをインテリジェントに使用することは、何をしたいあなたを与えることができますが、すべてのあなたの文法の知識やプログラミングの知識を使用する必要があります、そしてそれはまだ非常に荒い粒度になります。

Answer 2

これは、あなたがいくつかの実験に公開されているように聞こえますが、その場合はツールキットのアプローチが最適かもしれませんか？もしそうなら、NLTK Natural Language Toolkit for Pythonを見てください。 Apacheライセンスの下で公開されているオープンソースであり、そこにはいくつかの素晴らしい本があります（クリエイティブコモンズライセンスでオンラインで公開されているO'Reillyのものを含む）。