utf-8エンコードhtmlファイルにutf-8以外の文字が含まれているとどうなりますか？

Question

私は、UTF-8でエンコードされたhtmlファイルを解析するためにBeautifulSoupを試しています。しかし、残念なことに、このhtmlファイルにはutf-8以外の文字が含まれているため正しく表示されません。しかし、私はこれらの文字を単にスキップすることができるので、これは私にとっては問題ありません。

の問題は、私が直接UTF-8としてencodingFromを指定した場合でも、次のとおりです。

soup = BeautifulSoup (html,fromEncoding='utf-8') 

それはsoup.originalEncodingが自動的にWindows-1252をデフォルトに設定されているが判明しました。

print soup.originalEncoding 
windows-1252 

私はBeautifulSoupのドキュメントを参照し、のように書かれています：私ではなく、リスト内の最後の1に落ちるの指定fromEncodingを使用する必要がありそうです

Beautiful Soup tries the following encodings, in order of priority, to turn your document into Unicode: 

- An encoding you pass in as the fromEncoding argument to the soup 
    constructor. 
- An encoding discovered in the document itself 
- An encoding sniffed by looking at the first few bytes of the file. If 
    an encoding is detected at this stage, it will be one of the UTF-* 
    encodings, EBCDIC, or ASCII. 
- An encoding sniffed by the chardet library, if you have it installed. 
- UTF-8 
- Windows-1252 

。

参考のためthe original html I'm parsingです。

Answer 1

ファイルのエンコーディングが分かっている場合は、文字列をデコードしてからBeautifulSoupに渡し、utf8以外の文字は明示的に無視してみてください。

unicode_html = myfile.read().decode('utf-8', 'ignore') 
soup = BeautifulSoup (unicode_html) 

Answer 2

あなたが参照するページは、一般的にUTF-8でエンコードされているようですが、UTF-8でエンコードされたデータでは表示できないバイトシーケンスが含まれています。おそらく、不正なコード変換や別のエンコーディングへのデータの挿入が原因です。しかし、それは「唯一の」コンテンツデータです。

UTF-8は誤ったバイトをスキップするだけで、残りの部分はうまくいくはずです.HTMLマークアップを取得するとすぐにすべてがASCII範囲に入ります。マークアップの意味のある文字は常に0x80より小さい単一バイトとして表示されます。