Webクローラーをより効率的にする方法

Question

ここではコードである：それは基本的に、使用して、urlllib.request.urlopen、ループ内で再帰的にURLを開く

str_regex = '(https?:\/\/)?([a-z]+\d\.)?([a-z]+\.)?activeingredients\.[a-z]+(/?(work|about|contact)?/?([a-zA-z-]+)*)?/?' 

import urllib.request 
from Stacks import Stack 
import re 
import functools 
import operator as op 
from nary_tree import * 
url = 'http://www.activeingredients.com/' 
s = set() 
List = [] 
url_list = [] 
def f_go(List, s, url): 
    try: 
     if url in s: 
      return 
     s.add(url) 
     with urllib.request.urlopen(url) as response: 
      html = response.read() 
      #print(url) 
     h = html.decode("utf-8") 
     lst0 = prepare_expression(list(h)) 
     ntr = buildNaryParseTree(lst0) 
     lst2 = nary_tree_tolist(ntr) 
     lst3= functools.reduce(op.add, lst2, []) 
     str2 = ''.join(lst3) 
     List.append(str2) 
     f1 = re.finditer(str_regex, h) 

     l1 = [] 
     for tok in f1: 
      ind1 = tok.span() 
      l1.append(h[ind1[0]:ind1[1]]) 
    for exp in l1: 
     length = len(l1) 
     if (exp[-1] == 'g' and exp[length - 2] == 'p' and exp[length - 3] == 'j') or \ 
      (exp[-1] == 'p' and exp[length - 2] == 'n' and exp[length - 3] == 'g'): 
       pass 
     else: 
      f_go(List, s, exp, iter_cnt + 1, url_list) 
except: 
    return 

。特定のドメイン（この場合はactiveingredients.com）で動作します。リンク抽出フォームは、正規表現によってページが行われます。内部では、開いているページを持つと、それを解析し、文字列としてリストに追加します。それで、これは、与えられたドメインを通り、情報（その場合は意味のあるテキスト）を抽出し、リストに追加することです。ブロックを除いて試してみてください。すべてのhttpエラー（およびすべての残りのエラーもありますが、これはテスト済みで動作しています）の場合にのみ返されます。
たとえば、この小さなページでは機能しますが、それ以上のものは非常に遅くてメモリを消費します。
ページを解析して、多かれ少なかれ正しい仕事をしていると私は信じています。
質問は、これを行う効率的な方法はありますか？ウェブがネットワークをすばやくクロールする方法

Answer 1

まず、Googleのウェブクローラーが1台のノートパソコンまたは1台のパソコンで動作しているとは思われません。大企業のような結果を得ることができない場合は心配しないでください。考慮すべき

ポイント：

1. あなたは多くのウェブサイトからダウンロードすることができた単語の大きなリストを開始することができます。それはいくつかの無駄なURLの組み合わせを並べ替えます。その後、文字だけでクロールしてインデックスに無名のサイトを作成することもできます。

2. DNSサーバー上の登録済みドメインの一覧から始めてください。 I.このような何か：http://www.registered-domains-list.com

3. 使用する複数のスレッド

4. が持っている多くの帯域幅

5. Googleのデータセンター

の購入を検討は、これらのポイントは、あなたの基本的な考え方を与えるためだけのアイデアですあなたのクローラを改善する方法について