NLTK - テキストを正規化するのはいつですか？

Question

私は自分のコーパスに使用する予定のデータ収集を完了しましたが、テキストを正規化するかどうか混乱しています。私は将来、&をコーパスにチャンクする予定です。 NLTKのコーパスの一部はすべて小文字で、その他は小文字ではありません。

誰でもこの件について明記できますか？

Answer 1

"normalize"とは、すべてを小文字にすることだけですか？

すべてを小文字にするかどうかの決定は、実際に行うことに依存しています。いくつかの目的のために、データの希薄さを低下させるので、すべてを小文字にするほうが優れています（大文字の単語はあまりありません。大文字の単語の統計がまともでないような大規模なコーパスがなければシステムを混乱させる可能性があります）。他のタスクでは、ケース情報が重要な場合があります。

さらに、他にも同様のことを考慮する必要があります。たとえば、"can't"は、["can't"],["can", "'t"]、または["ca", "n't"]と扱われるべきです（私は3つすべてを異なるコーパスで見たことがあります）。 7-year-oldはどうですか？一つの長い言葉ですか？または3つの単語を分離する必要がありますか？

つまり、コーパスを再フォーマットする理由はありません。これらの変更をすぐに行うことができます。そうすれば元の情報は必要な場合には後になります。