2022年7月29日
用nginx中的$http_user_agent简单配置防爬虫
摘要： 有些爬虫对服务器恶意获取网站信息，不遵守robots规则，我们需要进行拦截。可以禁止某些User Agent抓取网站. 如果对方真想爬你，他可以编写程序模拟真实浏览器信息，下面只是防一些工具类的 在vhost中新建配置配置文件 agent_deny.ngxfix #禁止Scrapy等工具的抓取 if 阅读全文
posted @ 2022-07-29 15:03 愛羅 阅读(1414) 评论(0) 推荐(0) 编辑