2020年6月18日
常见的反爬虫技巧及其解决方案
摘要： 1.封 User-agent：判断用户师傅是浏览器访问。 解决方法：添加多个UA/更换UA 2.封ip：判断请求来源的ip地址，如果一个ip过于频繁的访问一个网站，有可能会当做爬虫封掉。 解决方法：使用代理ip发送请求 案例：拉钩招聘数据 3.封cookie：同一个账号，请求频率过高或请求数量过高， 阅读全文
posted @ 2020-06-18 09:32 李白斗酒诗百篇 阅读(858) 评论(0) 推荐(0) 编辑