機械翻訳における句読点の扱い方

Question

機械翻訳では、通常どのように句読点を扱うのか不思議です。例えば

、言語Aから我々が持っているかもしれませんBへ：

A: a b c d e f g 
B: x y z, u v w 

は、私たちは、言語Bにカンマを扱うべきですか疑問に思って？ seq2seqモデルを使用している場合は、単純に削除しますか、それとも埋め込みを生成し、他の単語を扱うのと同じ方法でコンマを処理するのでしょうか？

私が何かを見逃していなければ、それについての論文は明示的に語っていないと思います。

Answer 1

Seq2Seqの良いアプリケーションは機械翻訳です。

英語 - >ドイツ語の場合、追加のコンマを必要とするドイツ語の文章が表示されます。

EN：大佐が私に言ったので、私は彼を撃った。

DE： Ich habe auf ihn geschossen、weil es der Oberst mir befohlen hatte。

weilより前の最初のサブセクションには、良いモデルが自動的に学習されます。コンマが文法的である必要があります。

事前に余分な前処理を行う必要はありません。