Pythonのセレンページのソース

Question

私はからすべてのIPアドレスのプロキシを取得したい：私は、ソースコードからそれを得れば、それはより速くなることを決めた https://free-proxy-list.net/

。

しかし、問題

は、私は + U CTRL]をクリックしたとき、私はすべてを見ることですが、私は「page_source」を使用していたときに私の代わりに、すべてのわずか数IPを参照してください。

ありがとうございました。 DebanjanBについては、コードを示します。私はセレンを使用する必要はありませんでした。

コードがあります：

import requests 
import lxml.html 
r = requests.get("https://free-proxy-list.net/") 
html = lxml.html.fromstring(r.content) 
ip_list = html.xpath("//tr/td[1]/text()") 
port_list = html.xpath("//tr/td[2]/text()") 
with open("E:\proxy_lista.csv",'w',newline='') as csvfile: 
spamwriter = csv.writer(csvfile, delimiter=' ',quotechar='|',       quoting=csv.QUOTE_MINIMAL) 
for i in range(0,len(ip_list)): 
spamwriter.writerow(ip_list[i].split()) 
csvfile.close() 

Answer 1

のみ20テーブルの行は、現在のページに表示されるためです。

あなただけのこれらのIP数字をこすりする必要がある場合は、代わりにseleniumのpython-requests + lxml.htmlを使用する必要があります：

import requests 
import lxml.html 

r = requests.get("https://free-proxy-list.net/") 
html = lxml.html.fromstring(r.content) 
ip_list = html.xpath("//tr/td[1]/text()") 

あなたは空のリストを作成する必要がありますselenium使用することが必須だ場合は、append()が必要値とclick() "次へ"ボタン。 "次へ"ボタンが有効になるまでwhileループでこれを行います