Rubyの文字列＃gsub、unicode、および単語以外の文字

Question

大規模な一連の操作の一環として、私は大きな文字列のトークン化されたチャンクを取り、句読点、非単語のゴブリンジクなどを取り除こうとしています。最初の試みはString#gsubを使用して\W正規表現の文字クラス、そのような：

my_str = "Hello," 
processed = my_str.gsub(/\W/,'') 
puts processed # => Hello 

スーパー、スーパー、スーパーシンプル。もちろん、私はラテン文字以外の文字を扱うプログラムを拡張しています。 Rubyの\Wは、[^A-Za-z0-9_]のようなものですが、もちろん発音区別記号（Ü、íなど）は除きます。だから、今unpleasentの方法で、私の以前は、単純なコードがクラッシュし、やけど：GSUB

my_str = "Quística." 
processed = my_str.gsub(/\W/,'') 
puts processed # => Qustica 

お知らせ（）親切アクセント「I」の文字を削除しました。私がこれを修正するために考えた1つの方法は、より高いUnicodeコードポイントを含むようにRubyの\ Wホワイトリストを拡張することですが、非常にたくさんあるので、いくつか見逃して問題を引き起こしますラテン語以外の言語についても考え始めてみましょう...）。もう一つの解決策は、私が捨てたい（句読点、$ /％/ & /™など）すべてのものをブラックリストに載せることですが、もう一度、それがひどいです。本当にブラックリストを再生し始める。

誰かがこの問題の原則的な解決策を見つけましたか？私がまだ発見していないの隠された、Unicodeに優しいバージョンがありますか？ありがとう！

Answer 1

UTF-8を使用するには、「-Ku」オプションを指定してrubyを実行する必要があります。 command-line optionsのドキュメントを参照してください。これはirbでこれを行うとどうなりますか：

% irb -Ku 
irb(main):001:0> my_str = "Quística." 
=> "Quística." 
irb(main):002:0> processed = my_str.gsub(/\W/,'') 
=> "Quística" 
irb(main):003:0> 

また、＃！あなたのルビースクリプトの行：

#!/usr/bin/ruby -Ku 

Answer 2

私はそれをデフォルトで1.9.1に追加したいと思います。

$ irb 
ruby-1.9.1-p243 > my_str = "Quística." 
=> "Quística." 
ruby-1.9.1-p243 > processed = my_str.gsub(/\W/,'') 
=> "Quística" 
ruby-1.9.1-p243 > processed.encoding 
=> #<Encoding:UTF-8> 

PS。さまざまなバージョンのRubyを試してみると、rvmに勝るものはありません。 DS。