BeautifulSoup - 特定のdivクラスにある場合、タグをクロールしない

Question

一般的なページ構造を持たない2000個のWebサイトからプレーンテキストをクロールする必要があり、おそらく1つのスクリプトではクロールすることが難しいと思われます。

「初めてのクローラ」では、BeautifulSoupでいくつかの試行錯誤を繰り返しました。現在、私は次のように特定のタグ（< P>と、すべての見出しタグ）との間でコンテンツを見ることで、いくつかのプレーンテキストをクロールするために管理：

soup.findAll(['p', re.compile('h[0-9]'), 'title']) 

はしかし、時にはいくつかのRSS /ニュースフィードがあります、そこから私はテキストを持っていないようにしてください。私はページのソースコードで見たものから、CSS divクラスに囲まれています。だから私の質問は、上記のコマンドは、特定のdivクラスに囲まれている場合、テキストをクロールしないように指示することができます。

Answer 1

あなたは、フィルタとしての機能を使用することができます。

`def my_filter(tag): 
return (tag.name == 'p' or re.compile('h[0-9]').match(tag.name) or tag.name== 'title') and (tag.parent['class'] != 'certain_div_class' or not tag.parent.has_attr('class')) 

my_tags = soup.findAll(my_filter)`