boost :: tokenizerを文字列区切り文字で使用する

Question

私はboost :: tokenizerを探していましたが、ドキュメントが非常に薄いことがわかりました。 "イルカ - モンキー - ヒヒ"のような文字列をトークン化し、すべての単語をトークンにすることは可能ですか？これらの例から、私は一文字区切り文字が許されているのを見ただけです。ライブラリはより複雑な区切り文字のために十分に進んでいないのですか？

Answer 1

自分の好きなことをするには、自分でTokenizerFunctionと書く必要があります。

Answer 2

1つの方法は、boost :: regexを試すことです。カスタムトークナイザと比較してパフォーマンスが不明です。

std::string s = "dolphin--monkey--baboon"; 

boost::regex re("[a-z|A-Z]+|--"); 
boost::sregex_token_iterator iter(s.begin(), s.end() , re, 0); 
boost::sregex_token_iterator end_iter; 

while(iter != end_iter) 
{ 
    std::cout << *iter << '\n'; 
    ++iter; 
} 

Answer 3

iter_splitを使用すると、複数の文字トークンを使用できます。 次のコードは生成します以下：

イルカ
月-キー
ヒヒ

#include <iostream> 
#include <boost/foreach.hpp> 
#include <boost/algorithm/string.hpp> 
#include <boost/algorithm/string/iter_find.hpp> 

    // code starts here 
    std::string s = "dolphin--mon-key--baboon"; 
    std::list<std::string> stringList; 
    boost::iter_split(stringList, s, boost::first_finder("--")); 

    BOOST_FOREACH(std::string token, stringList) 
    {  
     std::cout << token << '\n'; ; 
    } 

Answer 4

私はテーマはかなり古いですけど、それは、Googleのトップのリンクに示されているIとき

：

はので、私は念のために、TokenizerFunctionの私のバリアントを追加します検索「文字列でトークナイザ後押し」

これはコミュニティのwikiをマークされているなぜ我々は興味があるだけ