HtmlCleanerは "???"を返します。英語以外のウェブサイトの解析時

Question

GoogleやAppleなどのウェブサイトを解析しようとすると、すべてが正常に機能します。 しかし、私は中国のWebサイトを解析しようとすると、このテキストは "???"のように見えます。

この問題の原因とその解決方法を教えてください。

Answer 1

文字エンコーディングの問題。コンテンツに何かを行う前に、コンテンツに基づいてエンコーディングを設定する必要があります。