2019年7月1日
Nginx反爬虫： 禁止某些User Agent抓取网站
摘要： 问题 之前客户能够正常访问的一个网站这几天访问很慢，甚至有时候还拒绝访问。通过Nginx访问日志排查，发现有大量的请求指向同一个页面，而且访问的客户端IP地址在不断变化且没有太多规律，很难通过限制IP来拒绝访问。但请求的user-agent都带有Bytespider标记，这是一种流氓爬虫。访问日志如 阅读全文
posted @ 2019-07-01 16:01 冰狼爱魔 阅读(7777) 评论(0) 推荐(0) 编辑