Pythonはproxies.txtを要求します。IP：ポート：ユーザ：pass

Question

私はプロキシを格納するファイルのように使用しようとしています。リクエストモジュールのプロキシにこれらをロードします。

しかし、今問題は、私のプロキシが混在しています。いくつかのプロキシは認証を持っており、あるものは認証していないものもあります。

だから私のproxies.txtこの

123.12.190.121:2323:user:pass 
123.12.190.122:2323:user:pass 
123.12.190.123:2323 
123.12.190.124:2323:user:pass 
123.12.190.125:2323 

認証でいくつかの、いくつかのdoesn'tのように見えます。

は今、私は私のproxies.txt

は、誰かが私を助けることができるに保存されているロードされたプロキシを使用してこの

response = session.get(URL, proxies=proxies) 

のようなコマンドを呼び出すしたいですか？

Answer 1

リクエストのドキュメントから、ユーザーとの間でプロキシを使用できます。 http://user:password@host/構文を使用し、プロキシでHTTP基本認証を使用するには http://docs.python-requests.org/en/master/user/advanced/

：：次のリンクをご確認ください

proxies = {'http': 'http://user:pass@10.10.1.10:3128/'} 

だから、あなたは「でヘルプや正規表現または分割でプロキシの辞書を作成する必要があります。 ' キャラクター。次に、次のようなプロキシURLを作成することができます。http://user:pass@10.10.1.10:3128 or http://10.10.1.10:3128. 文書から： 特定のスキームとホストのプロキシを指定するには、そのスキーマに// hostname形式を使用します。これは、指定されたスキームと正確なホスト名に対するすべての要求に一致します。プロキシURLにはスキームが含まれている必要があります。

proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'} 

コードスニペットを確認してください：

import re 
import random 

scheme = 'http://' 
proxies = {} 
with open('proxy.txt', 'r') as f: 
    for line in f: 
     pr = line.strip() 
     m = re.search(r'^(\d+\.\d+\.\d+\.\d+)\:(\d+)\:([^\:]*)\:([^\$]*)$', pr) 
     if m: 
      print('user: ' + m.group(3)) 
      proxies[scheme + m.group(1)] = scheme + m.group(3) + ':' + m.group(4) + '@' + m.group(1) + ':' + m.group(2) 
     else: 
      proxies[scheme + pr] = scheme + pr 

    print(proxies) 

k = random.choice(list(proxies)) 
print(k + ' => ' + proxies[k])