2016-10-29 8 views
-1

私は100のURLと言うリストを持っています。 10個のURLごとにIPを変更したい。多くのループの後でプロキシを変更する

私は自分のプロキシをそれぞれ10個のURLの後に使いたいとしましょう。 リクエストにそのプロキシをどのように使用しますか?ここで

list = [100URLS items] 
proxies ['ip:port','ip:port'] 
for urls in list: 
    try: 
     ##request 10 URLS here then it might throw me error. 
    except: 
     #After it throws me error, I want to be able to use proxies inside a list something like this and reiterate the same request with a new proxy using requests. 

答えて

2
#!/usr/bin/python 

import requests 

class Proxer: 
    proxy = '' 
    list = ['http://proxy1','http://proxy2', 'http://pox'] 
    proxy_count = 0 
    page_count = 0 

    def proxy_changer(self): 
     try: 
      if self.proxy_count > 0: 
       self.proxy_count = self.proxy_count + 1 
      self.proxy = self.list[self.proxy_count] 
      return self.proxy 
     except: 
      print "you are out of proxies" 


    def open_site(self, url): 
     self.page_count = self.page_count + 1 
     try: 
      if self.page_count%10: 
       self.proxy_changer() 
     except: 
      pass 
     requests.get(url, {'http':self.proxy}) 


Proxer().open_site('http://google.com') 

完全なコードです。 open_site(' http://google.com ')を使用して10ページ後にプロキシを変更する必要があります。プロキシがなくなると、例外が返されます。

関連する問題