python爬虫之如何随机更换User-Agent

这是python里面的一个useragent池,非常好用!具体怎么用呢?

首先,安装fake-useragent

    pip install fake-useragent

然后,使用方法

 

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

注意,有些网站可能会根据user-agent来封IP,也就是说他们会根据同一个IP下,如果是很多个不同user-agent在访问,那么,此时,他们就会判定为爬虫。

对应策略的话可以架构一个ip代理池配合UA使用

posted @   锐洋智能  阅读(385)  评论(0编辑  收藏  举报
编辑推荐:
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
阅读排行:
· Obsidian + DeepSeek:免费 AI 助力你的知识管理,让你的笔记飞起来!
· 分享4款.NET开源、免费、实用的商城系统
· 解决跨域问题的这6种方案,真香!
· 5. Nginx 负载均衡配置案例(附有详细截图说明++)
· Windows 提权-UAC 绕过
历史上的今天:
2020-10-28 修改dwz accordion 手风琴 初始化的时候,如何设置左侧第一个菜单默认从打开到折叠
2017-10-28 Spring Mvc如何通过注解的方式设置视图解析器的优先级
2017-10-28 spring 5.0.1.RELEASE官方任然不支持velocity(平台升级)
2014-10-28 关于 tomcat 集群中 session 共享的三种方法
2011-10-28 javamail,jmail发送邮件
点击右上角即可分享
微信分享提示