RubyでUnicodeコードポイントをエンコードする

Question

Nokogiriで解析されたHTMLドキュメントを取得しています。 HTMLは文字セットISO-8859-1を使用しています。問題は、Unicodeの文字がドキュメント内にあり、それぞれの文字の代わりにUnicodeのコードポイントに変換されることです。

例えば、これは、（ISO-8859-1に）受信したHTMLでいくつかのテキストです：

\x95\x95 JOHNNY VENETTI \x95\x95 

そして、このテキストを操作しようとすると、それはこれに変換される：

\u0095\u0095 JOHNNY VENETTI \u0095\u0095 

私の質問は、これらの文字がコードポイントではなく適切な文字として表示されるようにする方法です。私はテキスト上でgsubをやってみましたが、これは間違っているようです。また、私はHTML文書のエンコーディングを制御できません。

Answer 1

まず、この文字列がませ ISO-8859-1でエンコード（fileが"Non-ISO extended-ASCII text"とthe codepageがこれを確認すると言う）であることを認識すべきです。おそらくこれがあなたの問題であるかもしれません。その場合、HTML文書に正しいエンコーディング（この場合はWindows-1252のようなもの）を指定する必要があります。

Nokogiri.HTML("<p>\x95\x95 JOHNNY VENETTI \x95\x95</p>", nil, "Windows-1252") 
# => #<Nokogiri::HTML::Document: ... 
#  children=[#<Nokogiri::XML::Text:0x15744cc "•• JOHNNY VENETTI ••">]>]>]>]> 

あなたはきれいに上記のようにこれを解決するためのオプションを持っていない場合は、あなたも行うことができます：、あなたはまた、ドキュメントが間違ったエンコーディングを指定する場合には、明示的にエンコーディングを設定することができます鋸山で

それは困難な方法であり、正しい文字列で文字列を関連付けました。

s = "\x95\x95 JOHNNY VENETTI \x95\x95" 
s.encoding # => #<Encoding:ASCII-8BIT> 
s.force_encoding 'Windows-1252' 
s.encode! 'utf-8' 
s # => "•• JOHNNY VENETTI ••" 

この最後のコードはRuby 1.9のみです。あなたが望むなら、more about the new encoding system in Ruby 1.9を読むことができます。