sunzebo

摘要： 知识细节概括 浏览器反爬技术 验证请求header 验证refer 参数 动态渲染 判断请求频率，太快封掉ip 判断请求ip，同一个ip 经常爬取，封ip 需要提供密码登录 通过cookie判断 用验证码等技术 不提供web 数据，只提供手机APP 制定 robots文件，约定哪些能爬，哪些不能 异 阅读全文