摘要: IE安全控件 有一些数据安全级别高的网站,如银行网银,人行征信网站等,在用户登陆时会使用安全控件来加密用户的输入,有别于一般的JS加密,安全控件较难破解。 Selenium selenium是自动化测试框架,在爬虫系统中用它来解决带有IE安全控件难于破解的问题。 下面以人行征信页面 应用1-普通文本 阅读全文
posted @ 2018-07-11 10:24 1031 阅读(463) 评论(0) 推荐(0) 编辑
摘要: 为什么需要保持爬虫会话 最近在做某平台的爬虫应用,整体的业务流程比较简单,就是用户授权帐号密码后,爬虫进行登录,抓取用户数据提供比官网管理后台体验更好的功能服务。 该项目爬虫抓取数据的方式有别于通常的做法。通常的方式是爬虫授权后,一次性的爬取需要的数据后就结束生命周期。但本次的爬虫,需要在授权登陆后 阅读全文
posted @ 2018-07-10 15:19 1031 阅读(308) 评论(0) 推荐(0) 编辑