Luceneから生成されたトークンの重み付け

Question

クエリに最も関連するトークンを返すには、適切な計量アルゴリズムが必要です...私は、Lucene 3.0を使用してトークンを生成しました。より良いアルゴまたは変更されたtf-idf？

Answer 1

Luceneはすでに重み付け用のTF-IDFバリアントを実装しています。参照：http://lucene.apache.org/java/2_9_0/api/core/org/apache/lucene/search/Similarity.html

しかし、重み付けは最先端のものではなく、用語バーストのパフォーマンスが欠けています。 Solr 4.0にはプラグイン可能なアルゴリズムを導入しようとする試みがあります。いくつかのバージョンでは、bm25用のパッチや、利用可能な新しいアルゴリズムがあります。