教師なしのクリックログで検索エンジンを評価する

Question

私のウェブサイトで検索したユーザーのログと、入力した検索結果と、クリックした結果があります。私は検索アルゴリズムを改善したいと思います。しかし、まず品質を測定する方法が必要です。

私はAmazon Turkなどでデータを収集し、人間にテストスイートを作成させることができます。しかし、私は自分のウェブサイトのログですでに利用可能なデータを使用したいと思います。

どのように私はこれを行うことができ、どのアルゴリズムを使用することができますか誰も私を指摘できますか？

ありがとうございます！

Answer 1

実際には、インタリーブと呼ばれるオンライン評価手法を使用していることが多い大きなトピックです。ウェブサーバーのログだけを持っているのですか、カスタム検索ログも作成していますか？グーグルアナリティクス？このトピックに関する他の作業へのポインタと、検索エンジンのシステムを中心とした評価の良い入門概要について

、ムーニアLalmasのスライドを参照してください。https://www.slideshare.net/mobile/mounialalmas/an-introduction-to-systemoriented-evaluation-in-information-retrieval

私は実用的な目的のために考えて、あなたがすることで、この記事をチェックアウトすることができダニエル・タンクラン： http://twiggle.com/blog/evaluating-good-search-part-ii-measuring-searcher-behavior?utm_content=59131694

あなたが最初にクリックされた結果の位置（平均Recipopalランク）をチェックアウトすることができ、またはそれは再構築するあまりにも多くの仕事だ場合、単にクリック数は、良いスタートになります。これにより、ベースラインが得られます。ドメインとアプリケーションがどのように設定されているかによって、クリック（コンバージョン率）後のアクション（予約済み、購入済み、連絡済みなど）の頻度を確認できます。ウェブサイトにトラフィックがある場合は、A/Bテストを実施してクリック率やコンバージョン率を高めることができます。