TREC_EVALを使った人はいませんか？私は "ダミーのためのTrec_EVAL"が必要です。trec_evalを使用して検索/検索エンジンを評価する方法は？
私はいくつかの検索エンジンを評価して、私の論文作業のためにリコール精度、ランキング品質などのパラメータを比較しようとしています。 TREC_EVALを使用して検索エンジンにクエリを送信し、TREC_EVALで使用できる結果ファイルを取得する方法が見つかりません。
基本的に、trec_evalの場合、（人間が生成した）地上真理が必要です。クエリ数は、したがって、クエリを特定
query-number 0 document-id relevance
101Categories（wikipedia entry）のようなコレクションを考えると
Q1046 0 PNGImages/dolphin/image_0041.png 0
Q1046 0 PNGImages/airplanes/image_0671.png 128
Q1046 0 PNGImages/crab/image_0048.png 0
ようなものになるだろうから（例えば絵を：それは特別なフォーマットでなければなりません類似のものを見つける特定のカテゴリ）。検索エンジンからの結果は、説明hereとして
query-number Q0 document-id rank score Exp
または実際に
Q1046 0 PNGImages/airplanes/image_0671.png 1 1 srfiletop10
Q1046 0 PNGImages/airplanes/image_0489.png 2 0.974935 srfiletop10
Q1046 0 PNGImages/airplanes/image_0686.png 3 0.974023 srfiletop10
のように見えるように変換する必要があります。 "document-id"のパス名を調整する必要があるかもしれません。次に、標準メトリックを計算することができます。 trec_eval --helpには、論文に必要な測定値を使用するための適切なパラメータを選択するためのアイデアがあります。
trec_evalはクエリを送信しません。自分で準備する必要があります。 trec_evalは、分析結果と地上の結果とあなたの結果のみを行います。
こんにちは@mbx、あなたはどのように上記の 'スコア'の列の下の数字を計算しましたか？ （それは言う：1、0.974935、0.974023）。私は、行の結果ドキュメントと適切な関連ドキュメントの間の度合いを表していると読んだことがありますが、それらの数字にどのように到達するかはわかりません（100％の精度を示すと仮定した '1'を除く）。 –
@ NoonTime iirc最初の数字は（topXの）出力の位置であり、2番目は答えが「入力が1ならばこの出力がどれくらい得られるか」というランキングです - それであなたは完全にあなたがしたいアルゴリズムに依存します測定。 – mbx
okありがとう@mbxですが、数学的には、どうやってその0.974935番を得ましたか？私はそれが{last_position - 1}から派生していることを知っています。それを検索結果の総数で除算し、その分数を使用していますか？あなたが100の結果を持っているように、2番目の行の（2番目の結果の）スコアは（100-1）/ 100です.99ですか？ –
このトピックにはまだ興味がありますか？ – shellter
私は、バイナリ以外の関連性ラベルをどのように扱うのか、疑問がありますか？ – Shashank