BeautifulSoupは予期しない余分なスペースを返します

Question

私はBeautifulSoupでHTML文書からテキストを取得しようとしています。私にとって非常に矛盾したケースでは、それは奇妙で興味深い結果をもたらします。ある時点の後に、スープはテキスト内に余分なスペースがあります（スペースは次のものからすべての文字を区切ります）。私はその理由を見つけるためにウェブを検索しようとしましたが、反対のバグについての情報はまったくありませんでした。

なぜ起こったのか、またこの問題を解決する方法についてのヒントがありますか。

これは私が作成した、非常に基本的なコードです：

from bs4 import BeautifulSoup 

import urllib2 
html = urllib2.urlopen("http://www.beppegrillo.it") 
prova = html.read() 
soup = BeautifulSoup(prova) 
print soup 

は、そしてこれは、この問題が現れ始めるの結果から取られた行、行です：

値= \」ジュゼッペlabbate OGM？非vorremmo NUOVI uccelli chiamati lontre \ "> <入力のonmouseover = \" ヒント（」< CEN terclass = \ \ 'タイトル_ビデオの\ \' > <B> G iuseppelabbateo g m？ V I U C C E L L I C、H、O、N個のO、N V O R R E Mは、M個のO、N、U、I M T IのL OのN t個のR E <

Answer 1

これはLXMLのHTMLパーサーのバグであると考えています。 試してみてください：

from bs4 import BeautifulSoup 

import urllib2 
html = urllib2.urlopen ("http://www.beppegrillo.it") 
prova = html.read() 
soup = BeautifulSoup(prova.replace('ISO-8859-1', 'utf-8')) 
print soup 

この問題の回避策はどれですか。 問題はlxml 3.0 alpha 2とlxml 2.3.6で修正されていると思いますので、新しいバージョンにアップグレードする必要があるかどうかチェックする価値があります。

あなたはそれが最初にここに提出されたバグの詳細たい場合：このことができます

https://bugs.launchpad.net/beautifulsoup/+bug/972466

希望を、

ヘイデン

Answer 2

あなたはhtml.parserとしてパーサを指定することができます。

を

soup = BeautifulSoup(prova, 'html.parser') 

また、あなたはhtml5パーサを指定することができます。

soup = BeautifulSoup(prova, 'html5') 

はまだhtml5パーサをインストールしていないことがありますか？ターミナルからそれをインストールします。

sudo apt-get install python-html5lib 

xmlパーサを使用することができる（soup = BeautifulSoup(prova, 'xml')）がありますが、class="foo bar"のようなmulti-valued attributesでいくつかの違いを見ることができます。