随笔分类 - 爬虫实例
摘要：很多网页的信息都是通过异步加载的，本文就举例讨论下此类网页的抓取。 《工作细胞》最近比较火，bilibili 上目前的短评已经有17000多条。 先看分析下页面 右边 li 标签中的就是短评信息，一共20条。一般我们加载大量数据的时候，都会做分页，但是这个页面没有，只有一个滚动条。 随着滚动条往下拉
阅读全文
摘要：字体反爬 字体反爬也就是自定义字体反爬，通过调用自定义的字体文件来渲染网页中的文字，而网页中的文字不再是文字，而是相应的字体编码，通过复制或者简单的采集是无法采集到编码后的文字内容的。 现在貌似不少网站都有采用这种反爬机制，我们通过猫眼的实际情况来解释一下。 下图的是猫眼网页上的显示： 检查元素看一
阅读全文
摘要：第五关是在第三关的基础上加了验证码。验证码识别我们可以通过 tesserocr 来识别，tesserocr 的使用在我的前面两篇博客中有介绍。在这里，tesserocr 的识别率不是很高，大概只有10%到15%。
阅读全文
摘要：第四关需要用到多线程，需要注意的是，黑板课服务器15秒内最多返回两个请求，否则返回404，所以，开20个线程和开2个线程是一样的。
阅读全文
摘要：黑板课爬虫闯关第三关，每次登录之前，先要请求网址，获取服务器发的 cookie 中的 csrftoken 作为下次登录时的 csrfmiddlewaretoken 参数的值和用户名密码一起传给服务器。
阅读全文
摘要：第二关依然是非常的简单 地址：http://www.heibanke.com/lesson/crawler_ex01/ 随便输入昵称呢密码，点击提交，显示如下：
阅读全文
摘要：黑板课爬虫闯关，第一关非常的简单，get 请求网址，在响应的 html 中用正则获取需要在网址后面输入的数字，生成新的 url，继续请求，直到通关。
阅读全文
摘要：python3 爬虫入门级示例，附源码。
阅读全文
摘要：Robots 协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt 是搜索引擎访问网站的时候要查看的第一个文件。
阅读全文
