反爬虫机制----伪装User-Agent之fake-useragent
今天首先讲解反爬机制的伪装User-Agent
第一种:在cmd命令行里用pip安装fake_useragent
pip install fake-useragent
使用方法:
from fake_useragent import UserAgent
import random
fake_ua=UserAgent() # 构建UserAgent()对象
headers = {'User-Agent':fake_ua.random} #用random来随机取得用户代理。
获取各浏览器的fake-useragent
from fake_useragent import UserAgent
ua = UserAgent()
#ie浏览器的user agent
print(ua.ie)
#opera浏览器
print(ua.opera)
#chrome浏览器
print(ua.chrome)
#firefox浏览器
print(ua.firefox)
#safri浏览器
print(ua.safari)
#最常用的方式
#写爬虫最实用的是可以随意变换headers,一定要有随机性。支持随机生成请求头
print(ua.random)
print(ua.random)
print(ua.random)
第二种:百度搜索网上有很多,将其复制一些使用
附:
如何查看fake-useragent的版本?
有两种方法
第一种:
百度 pypi fake-useragent查看目前的版本,因为版本更新后有点没有数据
查到版本号,在地址栏中输入https://fake-useragent.herokuapp.com/browsers/版本号 比如现在最新的是:https://fake-useragent.herokuapp.com/browsers/0.1.11
就会看到所有的useragent,如图:
第二种:
在python中你安装fake-useragent时,进入python,使用命令pip list可以查看对应的版本
————————————————
原文链接:https://blog.csdn.net/ITYTI/article/details/83757118
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 25岁的心里话
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现