Regexを単一言語のトークンに分割する多言語の文字列を分割する

Question

Regexを使用して複数言語の文字列を単一言語のトークンに分割したい。

は、例えば、この英語 - アラビア語の文字列：

「彼の名前はمحمدだった、と彼の母親の名前はآمنهでした。」

結果は以下の通りである必要があります

2. 'محمد、'
3. 'と彼の母親の名前はだった'
4. '彼の名前でした' 'آمنه'。それは完璧ではない

Answer 1

（あなたは間違いなくそれが収まるかどうかを確認するために、いくつかの実例でそれをしようとする必要がある）、それがスタートだ：

splitArray = Regex.Split(subjectString, 
    @"(?<=\p{IsArabic}) # (if the previous character is Arabic) 
    [\p{Zs}\p{P}]+   # split on whitespace/punctuation 
    (?=\p{IsBasicLatin}) # (if the following character is Latin) 
    |      # or 
    (?<=\p{IsBasicLatin}) # vice versa 
    [\s\p{P}]+ 
    (?=\p{IsArabic})", 
    RegexOptions.IgnorePatternWhitespace); 

前の場合、これは空白/句読点に分割しますキャラクターはアラビア語ブロックのもので、次の文字はベーシックラテン系ブロック（またはその逆）からのものです。

Answer 2

System.Text.RegularExpressions.Regex regx = new System.Text.RegularExpressions.Regex(@"([\s\(\:]*[a-zA-Z]+[\s\)\:]*)+"); 
var matchs = regx.Matches(input).Cast<System.Text.RegularExpressions.Match>().ToList();