トークン化のキーワードはLucene.Net

Question

に私はLucene.Net 2.9.2を使用していると私は私がカスタムトークナイザを作成する必要があります数えるが、私は何かを明らかに不足して頂く場合にチェックしたいです。

文書は、タイトル、キーワードおよびコンテンツプラスなど、著者、日付フィールドとして格納された各ようないくつかのメタデータで構成されています。ドキュメントはソフトウェア技術文書であり、タイトル、キーワード、および/またはコンテンツに '.Net'、 'C​​ ++'、 'C​​＃'などのフレーズを含むことがあります。

私はキーワードフィールドとStandardAnalyzerタイトルのためにとコンテンツのためKeywordAnalyzerを使用しています - 文書が非常に長くなることとしてストップワードと小文字などが必要です。

「C＃」のように検索したいだけでなく、「CSharp」、「C＃.Net」なども検索するように検索用のシノニムカスタムフィルタを作成しました。トークナイザは既に '＃' 「C＃」や「++」がC++の「C」言語リファレンスと混同されている可能性があります。

私はトークン化を分岐させる必要があるタイトルとコンテンツをインデックス化するとき現在のトークンがキーワード句の一部であるか、またはその同義語のいずれかであるかどうかを判定します。

は、最善のアプローチですか？多くの感謝の前に:)

Answer 1

WhitespaceTokenizerを使用して、KeywordMarkerFilterをプラグインして、いくつかのトークンを「不可侵」とマークし、最後に句読点を取り除く独自のフィルタを提供すると思います。おそらく、Lucene.Netの知識を持つ人は、何かを示唆します。例えばSolrでWordDelimiterFilterを使用することができます。

1）：

Answer 2

はトークナイザのカスタマイズは、下記のクラスのいずれかで行うことができます。 Lucene.Net.Analysis.CharTokenizer 2）。 Lucene.Net.Analysis.Tokenizer

public class AlphaNumbericTokenizer : Lucene.Net.Analysis.CharTokenizer 
{ 
    public AlphaNumbericTokenizer (System.IO.TextReader input) : base(input) 
    { 
    } 
    protected override bool IsTokenChar(char c) 
    { 
     //TODO: Logic for identifying token or token separator 
     return char.IsLetterOrDigit(c); 
    } 
} 

参照してください、http://karticles.com/NoSql/lucene_custom_tokenizer.html