会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
肖祥
博客园
首页
新随笔
联系
订阅
管理
2020年3月24日
Nginx反爬虫: 禁止某些User Agent抓取网站
摘要: 一、概述 网站反爬虫的原因 不遵守规范的爬虫会影响网站的正常使用 网站上的数据是公司的重要资产 爬虫对网站的爬取会造成网站统计数据的污染 常见反爬虫手段 1. 根据 IP 访问频率封禁 IP 2. 设置账号登陆时长,账号访问过多封禁设置账号的登录限制,只有登录才能展现内容设置账号登录的时长,时间一到
阅读全文
posted @ 2020-03-24 15:02 肖祥
阅读(3448)
评论(0)
推荐(0)
编辑
公告