爬虫防屏蔽之代理服务器运用

 这里，提供一个代理服务器爬取百度的例子：

最后返回爬取数据的长度

import urllib.request

#代理函数 设置代理ip (代理ip在www.xicidaili.com网站免费提供,部分ip无效)
#urlopen不支持
def use_proxy(url,peoxy_addr):
    proxy=urllib.request.ProxyHandler({"http":proxy_addr})
    opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    #添加全局
    urllib.request.install_opener(opener)
    #打开网页
    data=urllib.request.urlopen(url).read().decode("utf-8","ignore")
    return data
    
proxy_addr="171.38.36.45:8123"
url="http://www.baidu.com"
data=use_proxy(url,proxy_addr)
print(len(data))

最后若输出data长度 这说明成功爬到数据