グレードの回答にインテリジェントなアプリケーションを作成するには？

Question

私は、学生が本質的に説明的な質問に答えるアプリケーションに機能を追加しています。これらの答えを等級分けするのに十分なシステムを「スマート」にする方法があるかどうかを知りたいのは私にとって不思議です。もちろん、私は学生が答えに少なくともキーワードを含めていることを保証するために、一連のキーワードを通して答えを出すことができますが、明らかにこれは十分にスマートではありません。

説明的な回答をグレーディングする愚かな方法はないと知っていますが、私が調べることができる技術があれば疑問に思っていました。

Answer 1

人のためのAPIであるmechanical turkを使用できます。おそらくあなたのシステムをAI化することができる限りです。実際のテキストを理解してグレーディングすることは、人間がコンピュータよりも優れている最後の問題の1つです。

1つの注目すべき例外は、実際にはJeopardyには本当に良いですが、いくつかの深刻な最適化とスマートが含まれています。それは何もあなたがオンにするだけです。申し訳ありません...

Answer 2

答えはそれほど単純ではありません。そこには "自動化された採点システム"があり、私はGRE試験の成績評価などを行っています。たとえば、this paperおよびthis by ETSを参照してください。