2019年5月18日
反爬的几种手段总结
摘要： 第一种：根据headers设置反爬虫 从用户请求的headers反爬虫是最常见的反爬虫策略，很多网站都会对headers的user-agent进行检测，还有一部分网站会对referer进行检测(一些资源网站的防盗链就是检测referer),如果遇到了这类的反爬虫机制的话，可以直接在爬虫中添加head 阅读全文
posted @ 2019-05-18 14:12 风不再来 阅读(5176) 评论(0) 推荐(0) 编辑