互換性のない文字エンコーディング：Oga gemのASCII-8BITとUTF-8

Question

私はOgaというXML/HTMLパーサーを使用しています。

私はこのURLをクロールしようとしています：私はこのエラーを取得すると

def get_page 
    body = Net::HTTP.get(URI.parse(@url)) 
    document = Oga.parse_html(body) 
    end 

document = get_page  
words = document.css('body').text 

：http://www.johnvanderlyn.comをし、テキストの本文を解析し、そのようにこれに関連している

/gems/oga-2.7/lib/oga/xml/node_set.rb:276:in block in text': incompatible character encodings: ASCII-8BIT and UTF-8 (Encoding::CompatibilityError)

bit of code here。

これを引き起こしている可能性がありますが、どうすれば修正できますか？ローカルで修正する方法はありますか？それとも、宝石をフォークし、その方法を修正してフォークを使用する必要がありますか？

思考？

Answer 1

リンクしたコードのビットは、グリッチとは関係がありません。つまり、ボディの問題が間違ったエンコーディングで解釈されています。ドキュメントを解析する前にbody = body.force_encoding 'UTF-8'を追加してみてください。

def get_page 
    body = Net::HTTP.get(URI.parse(@url)).force_encoding 'UTF-8' 
    document = Oga.parse_html(body) 
end