2011-08-24 39 views
15

Luceneを使用してPrecisionとRecallを計算したいと考えています。lucene javaの精度リコールjava

私はこれらの手順をした:

  1. は、いくつかのインデックスファイルを作りました。これを行うには、インデクサーコードを使用し、このパスに存在する.txtファイルをC:/inn(このフォルダーに4つのテキストファイルがあります)にしてインデクサーコードのindexpathをC:/outtに設定して「outt」フォルダーに入れてください。パッケージを作成した

  2. lia.benchmarkと呼ばれ、内部クラスは「PrecisionRecall」と呼ばれているとexternaljarsを追加(右クリック - > Javaのビルド・パス - >外部jarファイルを追加)し、Lucene-benchmark-.3.2.0jarLucene-core-3.3.0jar

  3. セットを追加しましたコード内のtopicsfileパスは、C:/lia2e/src/lia/benchmark/topics.txtおよび
    qrelsfileからC:/lia2e/src/lia/benchmark/qrels.txtへのパスであり、「C:/ outt」へのパスです。

    package lia.benchmark;   
    import java.io.File; 
    import java.io.PrintWriter; 
    import java.io.BufferedReader; 
    import java.io.FileReader; 
    import org.apache.lucene.search.*; 
    import org.apache.lucene.store.*; 
    import org.apache.lucene.benchmark.quality.*; 
    import org.apache.lucene.benchmark.quality.utils.*; 
    import org.apache.lucene.benchmark.quality.trec.*; 
    
    public class PrecisionRecall { 
    
        public static void main(String[] args) throws Throwable { 
    
        File topicsFile = new File("C:/lia2e/src/lia/benchmark/topics.txt"); 
         File qrelsFile = new File("C:/lia2e/src/lia/benchmark/qrels.txt"); 
         Directory dir = FSDirectory.open(new File("C:/outt")); 
         IndexSearcher searcher = new IndexSearcher(dir, true); 
    
         String docNameField = "filename"; 
    
         PrintWriter logger = new PrintWriter(System.out, true); 
    
         TrecTopicsReader qReader = new TrecTopicsReader(); 
         QualityQuery qqs[] = qReader.readQueries(      
           new BufferedReader(new FileReader(topicsFile))); 
    
         Judge judge = new TrecJudge(new BufferedReader(   
           new FileReader(qrelsFile)));           
    
         judge.validateData(qqs, logger);           
    
         QualityQueryParser qqParser = new SimpleQQParser("title", "contents"); 
    
         QualityBenchmark qrun = new QualityBenchmark(qqs, qqParser, searcher, docNameField); 
        SubmissionReport submitLog = null; 
         QualityStats stats[] = qrun.execute(judge,     
            submitLog, logger); 
    
         QualityStats avg = QualityStats.average(stats);   
         avg.log("SUMMARY",2,logger, " "); 
        dir.close(); 
        } 
    } 
    
  4. 初期化qrelsと話題:ここ

    コードがあります。ドキュメントフォルダ(C:\ inn)には、2つのtxtファイルが4つあります。それらのうち2つは、クエリ(appleはクエリ)と関連しているので、qrelsとトピックを埋めました。

    qrelsは、このようなファイル:

    <top> 
        <num> Number: 0 
        <title> apple 
        <desc> Description: 
        <narr> Narrative: 
    </top> 
    

    とトピックは、このようなファイル:代わりに: "\旅館\ 789.txt C"

    0 0  789.txt   1 
    0 0  101.txt   1 
    

    は私もパス形式、すなわち例えばを試してみました"789.txt" のが、結果はゼロです:

    0 - contents:apple 
    0 Stats: 
    Search Seconds: 0.016 
    DocName Seconds: 0.000 
    Num Points: 2.000 
    Num Good Points: 0.000 
    Max Good Points: 2.000 
    Average Precision: 0.000 
    MRR: 0.000 
    Recall: 0.000 
    Precision At 1: 0.000 
    SUMMARY 
    Search Seconds: 0.016 
    DocName Seconds: 0.000 
    Num Points: 2.000 
    Num Good Points: 0.000 
    Max Good Points: 2.000 
    Average Precision: 0.000 
    MRR: 0.000 
    Recall: 0.000 
    Precision At 1: 0.000 
    

私に間違っていることを教えてもらえますか?

結果がゼロである理由を知る必要があります。

+1

一般的なデバッグ手法として、期待する出力が得られない場合は、期待どおりの値を見つけるまで逆方向に作業し、プログラムの以前と以前の値を調べます。そうすれば、状況が間違っている場所を正確に把握することができます。 – Gian

+0

私はLuceneについて知りませんが、<desc>と<narr>タグをqrelsファイルで閉じる必要はありませんか? – <span class="text-secondary"> <small> <a rel="noopener" target="_blank" href="https://stackoverflow.com/users/460761/">pablosaraiva</a></span> <span></span> </small> </span> </p> </div> </div> </div> </div> </div> </article> </div> <div class="answer-title"> <span class="text-logo margin-top-sm">A</span> <h2 class="title h4">答えて</h2> </div> <div class="item-description text-md markdown-body margin-bottom-40 voidso"> <article class="board-top-1 padding-top-10"> <div class="post-col vote-info"> <span class="count">3<i class="fa fa-thumbs-up"></i></span> </div> <div class="post-offset"> <div class="answer fmt"> <p>私は<code class="prettyprint-override">qrels.txt</code>フォーマットが間違っていると怖い:<a href="http://lucene.apache.org/java/2_3_0/api/org/apache/lucene/benchmark/quality/trec/TrecJudge.html" rel="nofollow">the javadoc</a>は、次のことを示唆している:</p> <p>予想される入力フォーマット:</p> <pre><code class="prettyprint-override">qnum 0 doc-name is-relevant </code></pre> <p>2つのサンプルライン:</p> <pre><code class="prettyprint-override">19 0 doc303 1 19 0 doc7295 0 </code></pre> <p>(私はそれが知っています2.3.0 javadocで、3.0では変更されていません)</p> <p>だから、あなたはファイルをスワップしたようだ。<code class="prettyprint-override">TrecTopicsReader</code>はあなたが持っているものを期待している。<code class="prettyprint-override">qrels.txt</code>; <code class="prettyprint-override">TrecJudge</code>は、あなたが持っているものが<code class="prettyprint-override">topics.txt</code>であると予想しています。</p> </div> <div class="post-info"> <div class="post-meta row"> <p class="text-secondary col-lg-6"> <span class="source"> <a rel="noopener" target="_blank" href="https://stackoverflow.com/q/7656413">出典</a> </span> </p> <p class="text-secondary col-lg-6"> <span class="float-right date"> <span>2011-10-05 03:31:13</span> <a rel="noopener" target="_blank" href="https://stackoverflow.com/users/562388/">alf</a></span> </p> <p class="col-12"></p> <p class="col-12"></p></div> </div> </div> </article> <div> <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script> <ins class="adsbygoogle" style="display:block" data-ad-client="ca-pub-6208739752673518" data-ad-slot="1038284119" data-ad-format="auto" data-full-width-responsive="true"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </div> </div> <div class="clearfix"> </div> <div class="relative-box"> <div class="relative">関連する問題</div> <ul class="relative_list"> <li> 1. <a href="http://ja.uwenku.com/question/p-knmzdsct-oo.html" target="_blank" title="精度、リコール、ソルでのROC"> 精度、リコール、ソルでのROC </a> </li> <li> 2. <a href="http://ja.uwenku.com/question/p-hmydtbat-v.html" target="_blank" title="マルチクラスマルチラベル分類の精度/リコール"> マルチクラスマルチラベル分類の精度/リコール </a> </li> <li> 3. <a href="http://ja.uwenku.com/question/p-ctvbbevf-gm.html" target="_blank" title="fastTextで精度とリコール?"> fastTextで精度とリコール? </a> </li> <li> 4. <a href="http://ja.uwenku.com/question/p-xeeefmpj-bc.html" target="_blank" title="Javaのタイマー精度"> Javaのタイマー精度 </a> </li> <li> 5. <a href="http://ja.uwenku.com/question/p-xspeaykc-t.html" target="_blank" title="Javaの倍精度"> Javaの倍精度 </a> </li> <li> 6. <a href="http://ja.uwenku.com/question/p-qhobrgnk-mu.html" target="_blank" title="精度、リコール、f1スコアから精度を計算する - scikit-learn"> 精度、リコール、f1スコアから精度を計算する - scikit-learn </a> </li> <li> 7. <a href="http://ja.uwenku.com/question/p-hgqqvqhl-nu.html" target="_blank" title="精度リコール曲線と平均精度に関する混乱"> 精度リコール曲線と平均精度に関する混乱 </a> </li> <li> 8. <a href="http://ja.uwenku.com/question/p-ozqbgvbq-km.html" target="_blank" title="精度、リコール、F1スコアがSklearnと同じ"> 精度、リコール、F1スコアがSklearnと同じ </a> </li> <li> 9. <a href="http://ja.uwenku.com/question/p-gceylvaw-oh.html" target="_blank" title="ROSEパッケージの潜在的なバグ:Rの精度、リコール、精度の差"> ROSEパッケージの潜在的なバグ:Rの精度、リコール、精度の差 </a> </li> <li> 10. <a href="http://ja.uwenku.com/question/p-nfqctruc-e.html" target="_blank" title="Javaの単精度/倍精度は何ですか?"> Javaの単精度/倍精度は何ですか? </a> </li> <div> <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script> <ins class="adsbygoogle" style="display:block; text-align:center;" data-ad-layout="in-article" data-ad-format="fluid" data-ad-client="ca-pub-6208739752673518" data-ad-slot="4606349252"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </div> <li> 11. <a href="http://ja.uwenku.com/question/p-hsaqfdtj-ed.html" target="_blank" title="のJava DateFormatの2ミリ秒の精度"> のJava DateFormatの2ミリ秒の精度 </a> </li> <li> 12. <a href="http://ja.uwenku.com/question/p-yddgnklw-mr.html" target="_blank" title="オントロジベースのセマンティック検索クエリドキュメントランク精度リコールの評価IR"> オントロジベースのセマンティック検索クエリドキュメントランク精度リコールの評価IR </a> </li> <li> 13. <a href="http://ja.uwenku.com/question/p-rxwayiev-hw.html" target="_blank" title="クロスバリデーションされたデータセットのF1、精度、リコールの取得方法"> クロスバリデーションされたデータセットのF1、精度、リコールの取得方法 </a> </li> <li> 14. <a href="http://ja.uwenku.com/question/p-wtsxsyiy-nz.html" target="_blank" title="INDArrayのJava doubleが精度を失う"> INDArrayのJava doubleが精度を失う </a> </li> <li> 15. <a href="http://ja.uwenku.com/question/p-ckeksobv-bg.html" target="_blank" title="Javaの精度を設定する"> Javaの精度を設定する </a> </li> <li> 16. <a href="http://ja.uwenku.com/question/p-xkpzjqfn-eh.html" target="_blank" title="Java:時間形式の精度Prec"> Java:時間形式の精度Prec </a> </li> <li> 17. <a href="http://ja.uwenku.com/question/p-mrvpdrnn-z.html" target="_blank" title="Java実行予定者の精度"> Java実行予定者の精度 </a> </li> <li> 18. <a href="http://ja.uwenku.com/question/p-dqdjrjjs-nr.html" target="_blank" title="リコールまたは精度の信頼区間/マージン"> リコールまたは精度の信頼区間/マージン </a> </li> <li> 19. <a href="http://ja.uwenku.com/question/p-ywhxzqqu-hs.html" target="_blank" title="Tensorflow CNNクラシファイアで精度とリコールの値を取得"> Tensorflow CNNクラシファイアで精度とリコールの値を取得 </a> </li> <li> 20. <a href="http://ja.uwenku.com/question/p-cjabkfbu-hp.html" target="_blank" title="精度とリコールの計算を混同行列"> 精度とリコールの計算を混同行列 </a> </li> <li> 21. <a href="http://ja.uwenku.com/question/p-dgmlmutj-op.html" target="_blank" title="精度の予測とリコールについて"> 精度の予測とリコールについて </a> </li> <li> 22. <a href="http://ja.uwenku.com/question/p-thyxuwka-ke.html" target="_blank" title="OpenCV in JAVA顔認識精度?"> OpenCV in JAVA顔認識精度? </a> </li> <li> 23. <a href="http://ja.uwenku.com/question/p-dguafsjn-hy.html" target="_blank" title="Java Denary to Binary Converter高精度アドバイス"> Java Denary to Binary Converter高精度アドバイス </a> </li> <li> 24. <a href="http://ja.uwenku.com/question/p-wwhrpmso-de.html" target="_blank" title="精度、リコール、Fスコアを計算する - python"> 精度、リコール、Fスコアを計算する - python </a> </li> <li> 25. <a href="http://ja.uwenku.com/question/p-ovefbsoi-my.html" target="_blank" title="リコールと精度からAUCを計算する"> リコールと精度からAUCを計算する </a> </li> <li> 26. <a href="http://ja.uwenku.com/question/p-pzxosqez-ms.html" target="_blank" title="情報検索評価python精度、リコール、fスコア、AP、MAP"> 情報検索評価python精度、リコール、fスコア、AP、MAP </a> </li> <li> 27. <a href="http://ja.uwenku.com/question/p-hcntojls-qa.html" target="_blank" title="PRROCパッケージによる精度リコール曲線計算R"> PRROCパッケージによる精度リコール曲線計算R </a> </li> <li> 28. <a href="http://ja.uwenku.com/question/p-bjwmlylf-oa.html" target="_blank" title="Kerasで精度とリコールを計算する方法"> Kerasで精度とリコールを計算する方法 </a> </li> <li> 29. <a href="http://ja.uwenku.com/question/p-znmsqokr-dd.html" target="_blank" title="Java Lucene NGramTokenizer"> Java Lucene NGramTokenizer </a> </li> <li> 30. <a href="http://ja.uwenku.com/question/p-mrtmjbdi-pc.html" target="_blank" title="条件付きでJavaが倍精度に倍精度化されない"> 条件付きでJavaが倍精度に倍精度化されない </a> </li> </ul> </div> <div> <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script> <ins class="adsbygoogle" style="display:block" data-ad-format="autorelaxed" data-ad-client="ca-pub-6208739752673518" data-ad-slot="1575177025"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </div> <div class="padding-top-10"></div> </div> </div> <script type="text/javascript" src="http://img.uwenku.com/uwenku/script/side.js?t=1644592048742"></script> <script type="text/javascript" src="http://img.uwenku.com/uwenku/plugin/highlight/highlight.pack.js"></script> <link href="http://img.uwenku.com/uwenku/plugin/highlight/styles/docco.css" media="screen" rel="stylesheet" type="text/css" /> <script type="text/javascript"> $('pre').each(function(i, e) { hljs.highlightBlock(e, "<span class='indent'> </span>", false) }); </script> <div class="col-lg-3 col-md-4 col-sm-5"> <div id="rightTop"> <div class="row"> <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script> <ins class="adsbygoogle" style="display:block" data-ad-client="ca-pub-6208739752673518" data-ad-slot="5415218910" data-ad-format="auto" data-full-width-responsive="true"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </div> <div class="row sidebar panel panel-default"> <div class="panel-heading font-bold"> 最新の質問 </div> <div class="m-b-sm m-t-sm clearfix"> <ul class="side_article_list"> <li class="side_article_list_item"> 1. <a href="http://ja.uwenku.com/question/p-rklwhgjh-kq.html" target="_blank" title="Flux <DataBuffer>を解凍するにはどうすればいいですか?"> Flux <DataBuffer>を解凍するにはどうすればいいですか? </a> </li> <li class="side_article_list_item"> 2. <a href="http://ja.uwenku.com/question/p-yfdaupwj-ks.html" target="_blank" title="クラスが `with`ステートメントのスコープを終了したときにタスクを実行するようにする"> クラスが `with`ステートメントのスコープを終了したときにタスクを実行するようにする </a> </li> <li class="side_article_list_item"> 3. <a href="http://ja.uwenku.com/question/p-grfdoihi-kv.html" target="_blank" title="APIがApiControllerを認識しません"> APIがApiControllerを認識しません </a> </li> <li class="side_article_list_item"> 4. <a href="http://ja.uwenku.com/question/p-uzdylyjr-kc.html" target="_blank" title="Pythonを使ったコーディングでのPassingCars"> Pythonを使ったコーディングでのPassingCars </a> </li> <li class="side_article_list_item"> 5. <a href="http://ja.uwenku.com/question/p-gbzeumwy-hw.html" target="_blank" title="Perl:作成された順にハッシュ値を取得する"> Perl:作成された順にハッシュ値を取得する </a> </li> </ul> </div> </div> </div> <p class="article-nav-bar"></p> <div class="row sidebar article-nav"> <div class="row box_white visible-sm visible-md visible-lg margin-zero"> <div class="top"> <h3 class="title"><i class="glyphicon glyphicon-th-list"></i> 関連する問題</h3> </div> <div class="article-relative-content"> <ul class="side_article_list"> <li class="side_article_list_item"> 1. <a href="http://ja.uwenku.com/question/p-knmzdsct-oo.html" target="_blank" title="精度、リコール、ソルでのROC"> 精度、リコール、ソルでのROC </a> </li> <li class="side_article_list_item"> 2. <a href="http://ja.uwenku.com/question/p-hmydtbat-v.html" target="_blank" title="マルチクラスマルチラベル分類の精度/リコール"> マルチクラスマルチラベル分類の精度/リコール </a> </li> <li class="side_article_list_item"> 3. <a href="http://ja.uwenku.com/question/p-ctvbbevf-gm.html" target="_blank" title="fastTextで精度とリコール?"> fastTextで精度とリコール? </a> </li> <li class="side_article_list_item"> 4. <a href="http://ja.uwenku.com/question/p-xeeefmpj-bc.html" target="_blank" title="Javaのタイマー精度"> Javaのタイマー精度 </a> </li> <li class="side_article_list_item"> 5. <a href="http://ja.uwenku.com/question/p-xspeaykc-t.html" target="_blank" title="Javaの倍精度"> Javaの倍精度 </a> </li> <li class="side_article_list_item"> 6. <a href="http://ja.uwenku.com/question/p-qhobrgnk-mu.html" target="_blank" title="精度、リコール、f1スコアから精度を計算する - scikit-learn"> 精度、リコール、f1スコアから精度を計算する - scikit-learn </a> </li> <li class="side_article_list_item"> 7. <a href="http://ja.uwenku.com/question/p-hgqqvqhl-nu.html" target="_blank" title="精度リコール曲線と平均精度に関する混乱"> 精度リコール曲線と平均精度に関する混乱 </a> </li> <li class="side_article_list_item"> 8. <a href="http://ja.uwenku.com/question/p-ozqbgvbq-km.html" target="_blank" title="精度、リコール、F1スコアがSklearnと同じ"> 精度、リコール、F1スコアがSklearnと同じ </a> </li> <li class="side_article_list_item"> 9. <a href="http://ja.uwenku.com/question/p-gceylvaw-oh.html" target="_blank" title="ROSEパッケージの潜在的なバグ:Rの精度、リコール、精度の差"> ROSEパッケージの潜在的なバグ:Rの精度、リコール、精度の差 </a> </li> <li class="side_article_list_item"> 10. <a href="http://ja.uwenku.com/question/p-nfqctruc-e.html" target="_blank" title="Javaの単精度/倍精度は何ですか?"> Javaの単精度/倍精度は何ですか? </a> </li> </ul> </div> </div> </div> </div> </div> </div> </div><!-- wrap end--> <!-- footer --> <footer id="footer"> <div class="bg-simple lt"> <div class="container"> <div class="row padder-v m-t"> <div class="col-xs-8"> <ul class="list-inline"> <li><a href="http://ja.uwenku.com/contact">お問い合わせ</a></li> <li>© 2020 JA.UWENKU.COM</li> <li><a target="_blank" href="https://beian.miit.gov.cn/">沪ICP备13005482号-4</a></li> <li><script type="text/javascript" src="https://v1.cnzz.com/z_stat.php?id=1280101193&web_id=1280101193"></script></li> <li><a href="http://www.uwenku.com/" target="_blank" title="优文库">简体中文</a></li> <li><a href="http://hk.uwenku.com/" target="_blank" title="優文庫">繁體中文</a></li> <li><a href="http://ru.uwenku.com/" target="_blank" title="поле вопросов и ответов">Русский</a></li> <li><a href="http://de.uwenku.com/" target="_blank" title="Frage - und - antwort - Park">Deutsch</a></li> <li><a href="http://es.uwenku.com/" target="_blank" title="Preguntas y respuestas">Español</a></li> <li><a href="http://hi.uwenku.com/" target="_blank" title="कार्यक्रम प्रश्न और उत्तर पार्क">हिन्दी</a></li> <li><a href="http://it.uwenku.com/" target="_blank" title="IL Programma di chiedere Park">Italiano</a></li> <li><a href="http://ja.uwenku.com/" target="_blank" title="プログラム問答園区">日本語</a></li> <li><a href="http://ko.uwenku.com/" target="_blank" title="프로그램 문답 단지">한국어</a></li> <li><a href="http://pl.uwenku.com/" target="_blank" title="program o park">Polski</a></li> <li><a href="http://tr.uwenku.com/" target="_blank" title="Program soru ve cevap parkı">Türkçe</a></li> <li><a href="http://vi.uwenku.com/" target="_blank" title="Đáp ứng viên">Tiếng Việt</a></li> <li><a href="http://fr.uwenku.com/" target="_blank" title="Programme interrogation Park">Française</a></li> </ul> </div> </div> </div> </div> </div> </footer> <!-- / footer --> <script> var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?f78a970f17b19a79fc477a3378096f29"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); </script> </body> </html>