open（url）からのコンテンツのサニタイズ.read

Question

私はRubyを使用してURLを開き、その内容を読み取ります。私が読んでいるファイルのコンテンツタイプは 'text/plain'です。

問題は、これにエスケープしたいいくつかの文字が含まれていることです。たとえば、プレーンテキストに登場する文字の1つは、ハイフンのASCIIである「\ 240」です。

テキストのどこにでもハイフンが表示されないため、これがどのように生成されているのか不思議です。それでも、それは目に見えない存在で、putsを使用してコンソールにテキストを印刷すると、「\ 240」が表示されます。

もう1つ、奇妙な文字のこのようなインスタンスをどのようにエスケープしますか？理想的には、「\ [some number]」という形式のすべての文字をエスケープしたいと考えています。私は使用しています

"\240".gsub(Regexp.new("\\\d+"),"") 

しかし、それは動作していないようです。

URLを開くことから読み取られたプレーンテキストコンテンツのサニタイズの伝統的な方法はありますか？

Answer 1

この状態で場を持った後、私は私のためのトリックを行い、次の正規表現が見つかりました：あなたは返さなってきたテキストの文字セットをチェックすることをお勧めします

str.gsub(/[^\x00-\x7F]/,'') 

Answer 2

を。それは頻繁に高い文字を持っているUTF-8かもしれません。 Ruby 1.9は、文字セットとそれらの間の切り替えを大きくサポートしています。 str.encode("US-ASCII", :invalid => :replace, :undef => :replace, :replace => "?")を使用して文字列を標準ASCIIにし、奇数の文字を?に置き換えました。