爬取快代理
import requests
from lxml import etree
url = 'https://www.kuaidaili.com/free/'
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',}
response = requests.get(url=url,headers=headers)
if response.status_code == 200:
# with open('ip.html','wb') as f:
# for i in response.iter_lines():
# f.write(i)
html = etree.HTML(response.text)
ips = html.xpath('//*[@id="list"]/table/tbody//tr/td[@data-title="IP"]/text()')
ports = html.xpath('//*[@id="list"]/table/tbody//tr/td[@data-title="PORT"]/text()')
i = 0
for ip in ips:
port = ports[i]
daili = ip+':'+port
url = 'https://www.baidu.com'
res = requests.get(url=url,headers=headers,proxies={
'socks5':daili,
},timeout=3)
# print('test %s status_code = %s' % (ip+':'+port,res.status_code))
if res.status_code == 200:
print('经过测试,代理服务器IP及端口{daili},可以使用'.format(daili=daili))
i+=1
#
经过测试,代理服务器IP及端口182.34.35.41:9999,可以使用
经过测试,代理服务器IP及端口180.160.54.27:8118,可以使用
经过测试,代理服务器IP及端口223.199.27.18:9999,可以使用
经过测试,代理服务器IP及端口36.250.156.246:9999,可以使用
经过测试,代理服务器IP及端口223.199.24.28:9999,可以使用
经过测试,代理服务器IP及端口183.166.125.99:9999,可以使用
经过测试,代理服务器IP及端口1.197.11.14:9999,可以使用
经过测试,代理服务器IP及端口114.99.4.114:9999,可以使用
经过测试,代理服务器IP及端口47.107.38.138:8000,可以使用
经过测试,代理服务器IP及端口60.2.44.182:47293,可以使用
经过测试,代理服务器IP及端口171.13.200.105:9999,可以使用
经过测试,代理服务器IP及端口163.204.244.181:9999,可以使用
经过测试,代理服务器IP及端口115.211.226.214:9999,可以使用
经过测试,代理服务器IP及端口123.163.27.15:9999,可以使用
经过测试,代理服务器IP及端口60.13.42.123:9999,可以使用