djangoのウェブサイトで外部のURLやリンクをテストするには？

Question

こんにちは私はPython 3でdjango 1.8のブログのWebサイトを構築しています。ブログのユーザーはブログを書いたり、外部リンクを追加することがあります。 このブログのウェブサイトのすべてのページをクロールして、ユーザーが提供する外部リンクがすべて有効であるかどうかをテストします。

どうすればいいですか？私はPythonの治療のようなものを使うべきですか？

Answer 1

import urllib2 
import fnmatch 

def site_checker(url): 

    url_chk = url.split('/') 
    if fnmatch.fnmatch(url_chk[0], 'http*'): 
     url = url 
    else: 
     url = 'http://%s' %(url) 
    print url 

    try: 
     response = urllib2.urlopen(url).read() 
     if response: 
      print 'site is legit' 
    except Exception: 
    print "not a legit site yo!" 

site_checker('google') ## not a complete url 
site_checker('http://google.com') ## this works 

これはうまくいきます。 UrllibはサイトのHTMLを読み込み、それが空でない場合は読み込みます。これは正当なサイトです。それ以外のサイトではありません。また、http：//を追加するためのURLチェックを追加しました。