2016-07-21 2 views
-4

私はpythonを使用してwebscrapingのために別のIPアドレスで同じWebサイトを開く必要があります。私はwebscraping.Iについて詳細な知識を持っていない私は以下を試みたが、私に理解していない。これの詳細コードは何ですか?事前にどのように私はPythonで別のIPアドレスを使用して同じWebサイトを開くことができます

def connectToSiteFunction(ip): 
     # your code to bind ip (if it's a source) or connect to it (if it's a dst) 
     # and do your thing here 

def connectAndWait(): 
    for ip in ips: 
     t = threading.Thread(target=connectToSiteFunction, args=(ip,)) 
     yield t 
     t.start() 
     os.sleep(15) 

threads = [t for t in connectAndWait()] 
for t in threads: 
    t.join() 

おかげ

答えて

0

あなたのタイトルと質問が対立しているようだ:

    :あなたはシステムのアドレスを知っている場合、あなたはそれをやってのカップルの主要な方法のいずれかを使用することができます
  1. リクエスト - http://docs.python-requests.org/en/master/これは、ウェブリクエストを行うのが簡単なクールなライブラリシステムです。そのページの例のトン。
  2. URLLib2 - https://docs.python.org/2/library/urllib2.htmlこれは、私がサードパーティ製のモジュールを組み込みたくない場合に、おそらく使用する方法です。 urlをエンコードする際に注意しなければならないことがあります(urllibを使用してエスケープするなど)。

ウェブスクレイピング(恐ろしいひどい名前 - それをHTML解析と呼んでいます)については、Beautiful Soup(http://beautiful-soup.readthedocs.io/en/latest/)をご覧ください。これは、上記の方法のいずれかを使用してデータを取得した場合にのみ使用します。

また、多くのウェブサイトがコンテキストを認識していることに注意する必要があります。ブラウザに表示される内容は、これらの方法を使用して戻ってくるものではないため、たくさんのリクエストを行う必要があります)、正しい順序でクッキーなどを維持しています。しかし、それはすべてあなたが何を呼んでいるかによって異なり、あなたはその質問に指定されていません。

関連する問題