会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
1031
博客园
首页
新随笔
联系
订阅
管理
2018年7月11日
针对IE安全控件的爬虫
摘要: IE安全控件 有一些数据安全级别高的网站,如银行网银,人行征信网站等,在用户登陆时会使用安全控件来加密用户的输入,有别于一般的JS加密,安全控件较难破解。 Selenium selenium是自动化测试框架,在爬虫系统中用它来解决带有IE安全控件难于破解的问题。 下面以人行征信页面 应用1-普通文本
阅读全文
posted @ 2018-07-11 10:24 1031
阅读(518)
评论(0)
推荐(0)
2018年7月10日
爬虫会话(cookie)的保持
摘要: 为什么需要保持爬虫会话 最近在做某平台的爬虫应用,整体的业务流程比较简单,就是用户授权帐号密码后,爬虫进行登录,抓取用户数据提供比官网管理后台体验更好的功能服务。 该项目爬虫抓取数据的方式有别于通常的做法。通常的方式是爬虫授权后,一次性的爬取需要的数据后就结束生命周期。但本次的爬虫,需要在授权登陆后
阅读全文
posted @ 2018-07-10 15:19 1031
阅读(347)
评论(0)
推荐(0)
公告