実装の順番はどれですか：POSタギングまたはレミメーション？

Question

NLTKのようなNLPツールキットを作成したい場合、トークン化と正規化の後に最初に実装する機能があります。 POSタギングまたはLemmatisation？

Answer 1

品詞は、言葉の種類によって異なる意味を持つ単語として機能するために、漢字化が機能するために重要です。そして、この情報を使って、字形化は基本形や補題を返します。したがって、POSタギングの実装が最初に行われる方が良いでしょう。

字句解析の主なアイデアは、単語の異なる形式を1つにグループ化することです。例えば、は、行く、行く、とは、になります - はになります。しかし、これを導出するには、単語が名詞か動詞かにかかわらず、単語の文脈を知る必要があります。

したがって、言語化関数は単語と品詞を入力として補題を返します情報を処理した後

Answer 2

確かにPOSタグャーを作成してください。あなたが字句解析を最初に行うと、ポルトガル語のように、特にあいまいさが一般的である言語で、POSタグャーを実行するときに可能な限り最高の単語の分類を失う可能性があります。