NLP。文章を部分に分割する

Question

私がしたいことの良い例はlingvolive.comです。文章を入力すると、文章の各部分の翻訳が表示されます。 lingvolive

の

スクリーンショットの文があります："Never give up!"と私は部品["never", "give up"]にで分割したいです。または"Consider the larger picture beyond narrowly focused goal"に["Consider", "the", "larger picture", "beyond", "narrowly", "focused" ,"goal"]

このタスクでは、englishcentral.comから解析された大きなラベルのデータベースがあります。 （Example）すべての言葉/句がその品詞を指定しています。

それは句動詞またはイディオムであっても、文から単語のグループを抽出するだけです。

どうすればいいですか？

Answer 1

nltkやopennlpのようなnlpライブラリを使用して、モデルを訓練することができます。 あなたはすでにタグ付きデータセットを持っているので、難しい作業ではありません。 Opennlpを使用する場合は、モデルをトレーニングするのが簡単です。開始するには、blogに従ってください。そこには基本的なサポートがたくさんあります。

これが役に立ちます。

Answer 2

「文章の一部」とは、辞書の単語または複数の語句を意味します。 GATEでは、gazetteerを使用して、辞書に一致した単語/フレーズの注釈をテキストに配置できます。