爬虫代理

爬虫代理

相关网站

-快代理

-西祠代理

www.goubanjia.com

请求协议

http https注意请求的url是使用哪一种请求协议的
代理ip的匿名度

-透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip

-匿名：知道使用了代理，不知道真实的ip

-高匿：不知道是代理，和真实的ip

import requests
from lxml import etree



headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}

url='https://www.baidu.com/s?wd=ip'

proxies={
    "https":'111.231.93.66:8888'
}

res=requests.get(url=url,headers=headers,proxies=proxies).text
tree=etree.HTML(res)
my_ip=tree.xpath('//span[@class="c-gap-right"]/text()')
print(my_ip)