複数のURLを読み込んで単語を生成するプログラム（英数字のみ）周波数テーブル

Question

私は、複数のURLを読み込んで単語（A-Za-z0-9という文字のみを含む）を生成するPythonプログラムを作成しています。出力は、これは私がこれまで持っているものである

url2.txt、url1.txt名前のファイルに保存することができます。

import urllib2 
import obo 

url = 'sample url' 

response = urllib2.urlopen(url) 
html = response.read() 
text = obo.stripTags(html).lower() 
wordlist = obo.stripNonAlphaNum(text) 


for s in sorteddict: 
    print str(s) 

Answer 1

あなたは簡単にテキストを抽出するためにboilerpipeを使用することができます：https://github.com/misja/python-boilerpipeを。

コードは次のようになります。

from boilerpipe.extract import Extractor 
from collections import Counter 

urls = ['url1', 'url2', ... ] # A list of the urls you want to fetch 
# Ask boilerpipe to fetch the data 
extractors = [Extractor(extractor='ArticleExtractor', url=url) for url in urls] 
# Ask boilerpipe to extract the text 
raw_texts = [extractor.getText() for extractor in extractors] 
# count the occurrences of words in each text 
word_counts = [Counter(text.split(" ")) for text in raw_texts]