摘要: Nginx反爬虫: 禁止某些User Agent抓取网站 Nginx反爬虫: 禁止某些User Agent抓取网站 网站反爬虫的原因 不遵守规范的爬虫会影响网站的正常使用 网站上的数据是公司的重要资产 爬虫对网站的爬取会造成网站统计数据的污染 常见反爬虫手段 根据 IP 访问频率封禁 IP 设置账号登陆时长,账号访问过多封禁 设置账号的登录限制,只有登录才 阅读全文
posted @ 2023-05-16 11:11 zakun 阅读(267) 评论(0) 推荐(0) 编辑
返回顶部