python 爬虫不停换代理

内网看到的一个小技巧,卧槽,感觉真TM厉害

函数均放到main函数内即可

def get_proxy():
    url="http://www.xicidaili.com"
    req=urllib.request.Request(url,headers=headers)
    response=urllib.request.urlopen(req)
    html=response.read().decode("utf-8")
    IP = re.compile('<td>(\d+)\.(\d+)\.(\d+)\.(\d+)</td>\s*<td>(\d+)</td>')
    proxy_ip=IP.findall(html)
    for each in proxy_ip:
        proxies.append(":".join([(".".join(each[0:4])),each[4]]))
    return proxies


def change_proxy():
    proxy=random.choice(proxies)
    if proxy==None:
        proxy_support=urllib.request.ProxyHandler({})
    else:
        proxy_support = urllib.request.ProxyHandler({"http": proxy})
    opener = urllib.request.build_opener(proxy_support)
    opener.addheaders=[("User-Agent",headers["User-Agent"])]
    urllib.request.install_opener(opener)
    print('智能切换代理:%s' % ('本机' if proxy == None else proxy))
posted @   qscqesze  阅读(1157)  评论(0编辑  收藏  举报
编辑推荐:
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
阅读排行:
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· DeepSeek 解答了困扰我五年的技术问题。时代确实变了!
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· 趁着过年的时候手搓了一个低代码框架
· 推荐一个DeepSeek 大模型的免费 API 项目!兼容OpenAI接口!
历史上的今天:
2015-05-09 hdu 5224 Tom and paper 水题
2015-05-09 2015 UESTC 搜索专题N题 韩爷的梦 hash
2015-05-09 2015 UESTC 搜索专题M题 Palindromic String 马拉车算法
2015-05-09 2015 UESTC 搜索专题K题 秋实大哥の恋爱物语 kmp
2015-05-09 2015 UESTC 搜索专题J题 全都是秋实大哥 kmp
2015-05-09 2015 UESTC 搜索专题F题 Eight Puzzle 爆搜
2015-05-09 2015 UESTC 搜索专题E题 吴队长征婚 爆搜
点击右上角即可分享
微信分享提示