オントロジベースのセマンティック検索クエリドキュメントランク精度リコールの評価IR

Question

セマンティック検索（オントロジー検索）を評価し、取得したドキュメントのランキングを確認する方法を知っていますか？セマンティック検索は、たとえドキュメントにクエリのキーワードがなくても、ドキュメントの同様の意味を検索できるので、

である。 TFIDFを使用してクエリとドキュメントを比較し、ランキングを行うことはできません。精度とリコールは正確ではないためです。

オントロジーベースのセマンティック検索を評価する方法とドキュメントランキングを行う方法は？

Answer 1

金の基準として使用されるデータセットを使用する必要があります。

関連性は、クエリではなく、相対的に評価されます。例えば、情報の必要性は：

ワインレッドワインが白ワインよりも心臓発作のリスクを減らすのに有効であるかどうかに関する情報。 ワインと赤と白とハートとアタックと効果 文書は、明記された情報の必要性に対処する場合、関連するものであり、クエリー内のすべての単語が含まれているためではありません。

ここには、最も標準的なテストコレクションと評価シリーズのリストがあります。

Cranfieldコレクション。これは、情報検索の有効性の正確な定量的な測定を可能にする先駆的なテストコレクションでしたが、今日では、ほとんどの初等パイロット実験以外には小さすぎます。 1950年代後半に英国で収集された、空気力学ジャーナル記事の1398抄録、225の質問のセット、すべての（質問、文書）対の徹底的​​な関連性判断が含まれています。 テキスト検索会議（TREC）。米国国立標準技術研究所（NIST）は、1992年以来、大規模なIRテストベッド評価シリーズを運用しています。このフレームワークでは、さまざまなテストコレクションの範囲で多くのトラックがありますが、最もよく知られているテストコレクションは、 1992年から1999年までの最初の8回のTREC評価の間、TREC Ad Hocトラック用に作成されました。これらのテストコレクションは合計189,000件の文書（主にニュース記事のみではありません）と450の情報ニーズに関する関連性判断詳細な文章で指定されています。個々のテストコレクションは、このデータの異なるサブセットにわたって定義されます。初期のTRECはそれぞれ異なる50の情報ニーズで構成され、異なるが重複する文書セットで評価されました。 TRECs 6〜8は、約528,000件以上のニュースワイヤーと外国放送情報サービスの記事に対して、150の情報ニーズを提供しています。これはおそらく将来の作業に使用するのに最適なサブコレクションです。なぜなら、これは最大でトピックはより一貫しているからです。テスト文書のコレクションは非常に大きいので、完全な関連性の判断はありません。むしろ、NISTの評価者の関連性判断は、情報ニーズが開発されたTREC評価で入力された、あるシステムで返されたトップ$ k $の中にあった文書に対してのみ利用可能である。 NISTは近年、2,500万ページのGOV2 Webページコレクションを含む、より大きなドキュメントコレクションの評価を行っています。初めから、NISTのテスト文書のコレクションは、以前研究者が利用可能だったものよりもはるかに大きく、GOV2は現在、研究目的で簡単に利用できる最大のWebコレクションです。それにもかかわらず、GOV2のサイズは、大規模なWeb検索会社が索引を付けた文書コレクションの現在のサイズよりも2桁も小さいです。

IRシステム用テストコレクション（NTCIR）。NTCIRプロジェクトは、TRECコレクションと同様のサイズのさまざまなテストコレクションを構築し、東アジア言語と複数言語の情報検索に焦点を当てています。ここでは、1つ以上の言語のドキュメントを含むドキュメントコレクションに対して1つの言語でクエリが行われます。参照：http://research.nii.ac.jp/ntcir/data/data-en.html クロスランク評価フォーラム（CLEF）。この評価シリーズは、ヨーロッパ言語と多言語情報検索に集中しています。参照：http://www.clef-campaign.org/ およびロイター - RCV1。テキスト分類のために最もよく使われているテストコレクションは、Reuters-21578の21578個のニュース記事のコレクションです。第13章を参照してください。最近では、ロイターは、806,791件の文書からなるもっと大きなロイター・コーパス1巻（RCV1）をリリースした。第4章、4.2ページを参照してください。その規模と豊富な注釈は、今後の研究のためのより良い基盤となります。 20ニュースグループ。これはKen Langによって収集された別の広く使われているテキスト分類コレクションです。これは、20のUsenetニュースグループ（ニュースグループ名がカテゴリとみなされている）のそれぞれから1000件の記事で構成されています。重複記事の削除後、通常使用されるように、18941件の記事が含まれています。