フィールド数を増やさずにluceneを使用した完全なフレーズ検索

Question

フレーズ検索では、完全一致（ストップワードを無視しない）の場合にのみ結果を表示します。フレーズでない検索の場合は、単語のルートフォームなどが一致しても結果を表示できます。

現在のところ、standardTokenizer、StopFilter、PorterStemFilter、LowerCaseFilterでデータを渡しています。これにより、ユーザが「パスワード管理」を検索したい場合には、「パスワード管理者」を含む検索結果が表示される。

私がStemFilterを削除した場合、語句以外のクエリの単語のルートフォームを照合することはできません。ドキュメント内の2つのフィールドの一部と同じデータにインデックスを付ける必要があると私は考えていました。

私はDifferent indexing and search strategies on same field without doubling index size?で同じ質問をしました。しかし、オフィスにいる人は、2つのフィールドの一部として同じデータを索引付けすることに満足していません。 （私たちは現在、lucene文書に約20のテキストフィールドを持っています）。 TokenFiltersを使用して上記の両方のケースをサポートする方法はありますか？

StopFilterの場合、入力トークンと？ （無視された単語のために）同じ位置増分で。 StemFilterの場合も同様に、入力トークンとステムトークンの両方を同じ位置増分で出力します。基本的には、入力トークンと出力トークン（無視されたものでも）は同じ位置にあります。

このアプローチを進めるのは安全ですか？他の誰かがここに記載された要件に直面していますか？私のアプローチで言及したのと同様のことをするフィルタはすぐに利用できますか？

ありがとうございました

Answer 1

"入力と出力のトークン"の意味を理解できません。データを2回保存していますか？

2度保存しないと、私はあなたの方法がうまくいかないと思います。格納された単語がjumpingであり、jumpedを検索するとします。クエリパーサーはjumpとjumpedを出力できますが、jumpという値が格納されていない限り、依然としてjumpingと一致しません。

そして、もしあなたが一度だけ茎ではなく、一度非茎になったとしても、それを2つのフィールドに保存しないのはなぜですか？そうすれば、奇妙なトークナイザの変更に対処する必要はありません。