要求をトークン化するためにどの文字を使用するかを指定する方法は？

Question

リクエストをトークン化するためのルールがたくさんあります。それらのほとんどはword_delimiterフィルターに適合しています。しかし、リクエストをトークン化するために使用する文字を指定する必要もあります。 ,,:,-,_ ...

どうすればよいですか？カスタム・アナライザでのcharフィルタを指定することにより

Answer 1

、次のことができます。

文字の文字列前処理、それがトークナイザに渡される前に。文字用のフィルタには、HTMLマークアップを取り除くために使用することができる、またはワードに「&」の文字を変換する「と」：https://www.elastic.co/guide/en/elasticsearch/reference/2.0/analysis-charfilters.html

カスタム・アナライザのステップは次のとおりです。

1. 文字フィルターに応じ
2. トークナイザ
3. トークンフィルタ

マッピング文字フィルタは、指定された文字をトークンに前処理して、残りの分析プロセスで考慮に入れる必要があります。