特殊文字を含む正規表現を使用してC++文字列をトークン化

Question

単語、数字、特殊文字を含む文字列内にトークンを見つけようとしています。私は、次のコードを試してみました：

#include <iostream> 
#include <regex> 
#include <string> 
using namespace std; 
int main() { 
    string str("The ,quick brown. fox \"99\" named quick_joe!"); 
    regex reg("[\\s,.!\"]+"); 
    sregex_token_iterator iter(str.begin(), str.end(), reg, -1), end; 
    vector<string> vec(iter, end); 
    for (auto a : vec) { 
     cout << a << ":"; 
    } 
    cout << endl; 
} 

をそして次の出力ました：

The:quick:brown:fox:99:named:quick_joe: 

をしかし、私は出力を望んでいた：

私はそのために使用する必要がありますどのような正規表現

The:,:quick:brown:.:fox:":99:":named:quick_joe:!: 

？可能であれば、私は標準のC++に固執したいと思います。すなわち、私はブーストのあるソリューションが気に入らないでしょう。

（この質問のJavaのバージョンの43594465を参照してください、しかし、今、私はC++ソリューションを探しています。だから、基本的に、問題はC++にJavaのマッチャーとパターンをマッピングする方法である。）

Answer 1

（部分マッチ-1）若干異なっている全マッチした部分文字列（部分マッチ0）、と：

sregex_token_iterator iter(str.begin(), str.end(), reg, {-1,0}), end; 

この利回り：

The: ,:quick: :brown:. :fox: ":99:" :named: :quick_joe:!: 

---

空白を削除するには、周囲の空白を消費する正規表現を変更し、空白以外の文字の取り込みグループを追加します。その後、だけではなく、部分マッチ0で、イテレータに部分マッチ1を指定します。

regex reg("\\s*([,.!\"]+)\\s*"); 
sregex_token_iterator iter(str.begin(), str.end(), reg, {-1,1}), end; 

収量：

The:,:quick brown:.:fox:":99:":named quick_joe:!: 

---

を隣接する単語の間にスペースを分割するとただのスペース "あまりにも上の分裂を必要とします。

regex reg("\\s*\\s|([,.!\"]+)\\s*"); 

ただし、空のサブセットで終了します：

それらをドロップするのに十分な簡単

The:::,:quick::brown:.:fox:::":99:":named::quick_joe:!: 

---

：最後に

regex reg("\\s*\\s|([,.!\"]+)\\s*"); 
sregex_token_iterator iter(str.begin(), str.end(), reg, {-1,1}), end; 
vector<string> vec; 
copy_if(iter, end, back_inserter(vec), [](const string& x) { return x.size(); }); 

：

The:,:quick:brown:.:fox:":99:":named:quick_joe:!: 

Answer 2

あなたがしたい場合はJava関連の質問で使用されている手法を使用してください。ここでもというアプローチに一致するを使用してください。

regex reg(R"(\d+|[^\W\d]+|[^\w\s])"); 
sregex_token_iterator iter(str.begin(), str.end(), reg), end; 
vector<string> vec(iter, end); 

はC++ demoを参照してください。結果：The:,:quick:brown:.:fox:":99:":named:quick_joe:!:。これは、\w（\dおよび\sも）のUnicode文字は、std::regexではUnicode対応ではないことに注意してください。

パターンは詳細： - 1桁以上

| - または

[^\W\d]+ - 1以上のASCII文字または_

| - または

[^\w\s]

• \d+を - ASCII文字/ di以外の1文字git、_と空白。あなたが非マッチした部分文字列をインターリーブする求めている