WhitespaceTokenizerFactoryとStandardTokenizerFactoryの違い

Question

私はSolrを初めて利用しています。 Solrのwikiを読むと、WhitespaceTokenizerFactoryとStandardTokenizerFactoryの違いを理解できません。彼らの本当の違いは何ですか？

Answer 1

解析されたテキストをトークンに分割する方法が異なります。

StandardTokenizerないこの次（のLuceneのjavadocから取られた）に基づいて：句読点を削除句読点文字で

• スプリット言葉、。 しかし、空白が付いていないドットはトークンの部分 と見なされます。
• トークンに数字がない限り、ハイフンで単語を分割します。この場合、トークン全体が数字 の数字と解釈され、分割されません。
• 電子メールアドレスとインターネット トークンとしてホスト名を認識します。

WhitespaceTokenizerは空白文字に基づいてこれを行います：

A WhitespaceTokenizerは空白でテキストを分割トークナイザです。非空白文字の隣接シーケンスはトークンを形成します。

アプリケーションに最適なトークナイザを選択する必要があります。いずれの場合でも、インデックス作成と検索に同じアナライザ/トークナイザを使用する必要があります。