摘要: 为什么需要保持爬虫会话 最近在做某平台的爬虫应用,整体的业务流程比较简单,就是用户授权帐号密码后,爬虫进行登录,抓取用户数据提供比官网管理后台体验更好的功能服务。 该项目爬虫抓取数据的方式有别于通常的做法。通常的方式是爬虫授权后,一次性的爬取需要的数据后就结束生命周期。但本次的爬虫,需要在授权登陆后 阅读全文
posted @ 2018-07-10 15:19 1031 阅读(313) 评论(0) 推荐(0) 编辑