htmlページのコンテンツを検索するアルゴリズム

Question

htmlページをスクラップしながらコンテンツを見つけるための既存のテクニックやライブラリがあるかどうかは疑問です。私は両方のサーバー側とクライアント側のJavaScriptを使用しているので、どちらかを利用することができます。

私はもともとreadability.jsを考えていましたが、もう利用できないようです。理想的なテクニックは、超高精度である必要はなく、ページからテキストを解析できるだけです。 Facebookのスクレーパーの仕組みが完璧なようなもの。

Answer 1

あなたは見たことがあります：http://www.crummy.com/software/BeautifulSoup/

Answer 2

をあなたはPythonで書かれた読みやすクローンである、decruftを見てすることができます。