摘要： 为什么要进行浏览器伪装技术？ 有一些网站为了避免爬虫的恶意访问，会设置一些反爬虫机制，对方服务器会对爬虫进行屏蔽。常见的饭爬虫机制主要有下面几个：1. 通过分析用户请求的Headers信息进行反爬虫2. 通过检测用户行为进行反爬虫，比如通过判断同一个IP在短时间... 阅读全文

摘要： 什么是cookie？ 在爬虫的使用中，如果涉及登录等操作时，经常会使用到cookie。简单的来说，我们访问每一个互联网页面，都是通过HTTP协议进行的，而HTTP协议是一个无状态协议，所谓的无状态协议就是无法维持会话之间的状态。比如，仅使用HTTP协议的话，我们... 阅读全文