摘要：
一、验证码识别 1.图形验证码的识别 识别图形验证码需要 tesserocr 库 OCR技术识别（光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程。）例如 中国知网注册页面 http://my.cnki.net/elibregister/commonRegister.aspxt 阅读全文
摘要：
一、使用selenium 模拟浏览器操作爬取淘宝商品信息 之前我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数 阅读全文
摘要：
Splash是一个JavaScript渲染服务 是一个带有HTTP API的轻量级浏览器 同时对接了python的Twisted 和QT库 利用它可以实现对动态渲染页面的抓取 功能介绍 安装准备 1.Docker的安装 (后面讲到时会详细讲 这里先安装) windows下安装： win10 64位 阅读全文
摘要：
一、动态渲染页面爬取 上节课我们了解了Ajax分析和抓取方式，这其实也是JavaScript动态渲染页面的一种情形，通过直接分析Ajax，借助requests和urllib实现数据爬取 但是javaScript动态渲染布置Ajax一种 例如中国青年网（http://news.youth.cn/gn/ 阅读全文
摘要：
一、Ajax数据爬取 1. 简介：Ajax 全称Asynchronous JavaScript and XML 异步的Javascript和XML。 它不是一门编程语言，而是利用JavaScript在保证页面不被刷新，页面链接不改变的情况下与服务器交换数据，获得数据后，再利用JavaScript改变 阅读全文