Sqliteを使用している日本語の文字（utf-8エンコード）FTS

Question

SqliteのFTSは私の実験やディスカッションhereで日本語の文字の検索をサポートしていないようです。

#select * from tblEvent_shortdes where short_des MATCH 'ＢＳジャパンの見どころ' 
#return nothing 
select * from tblEvent_shortdes where short_des MATCH 'パンの見' 

FTSにトークナイザをカスタマイズし、これを達成するための方法のようですが、私は日本人のための任意の有望なオープンソーストークナイザが見つかりませんでした。 ICUトークナイザは機能しますか？

Answer 1

ChaSenとMeCabをご覧ください。私はどちらかを使用してから数年経っています - 最近更新されていないかのように見えますが、どちらも日本語のトークン化では十分です。