リアルタイムの機械翻訳のための最良の評価方法？

Question

私は、BLEU、NIST、METEORなどのような多くの異なる方法があることを知っています。それらはすべて長所と短所があり、その有効性はコーパスとは異なります。私はリアルタイム翻訳に興味があるので、一度に2つの文章を入力して即座に翻訳することで、2人が会話することができました。

これはどのようなコーパスですか？テキストは、ほとんどの従来の方法による適切な評価のためには短すぎると考えられるか？話し手が絶えず切り替わっているという事実は、文脈をより困難にするでしょうか？

Answer 1

にアクセスすることなく、MT出力にスコアを割り当てる（機械翻訳（MT）コミュニティ内で）最近は何を求めている、信頼推定のドメインに属し、より良い品質推定、すなわち」として知られています参照翻訳 "と呼ばれる。で（テストセットから）

1. 仮説翻訳（MT出力）
2. 参照翻訳

：MTの評価のために

はあなたが必要とする（BLEU、NISTまたはMETEORを使用して）あなたのケース（リアルタイム翻訳）、あなたは（2）がありません。したがって、原文と仮説の翻訳の特徴と、MTプロセスについての知識に基づいて、システムのパフォーマンスを見積もる必要があります。

17点の特徴を有する基準システムがに記載されている：

• ステーキ、L.、トゥルキ、M.、Cancedda、N.、Dymetman、M.、& Cristianini、N.（2009b）。機械翻訳システムの文章レベルの見積もりあなたはhere

品質推定を見つけることができます機械翻訳のための欧州連合の第13回会議（頁28-37）

は、アクティブな研究テーマです。最新の進歩は、WMT会議のウェブサイトで追跡することができます。品質推定共有タスクを探します。たとえば、http://www.statmt.org/wmt17/quality-estimation-task.html