11 2018 档案
摘要：网上流传着许多抓取知乎数据的代码，抓取它的数据有一个问题一定绕不过去，那就是模拟登录，今天我们就来聊聊知乎的模拟登录。 获取知乎内容的方法有两种，一种是使用request，想办法携带cookies等必要参数去请求数据，但是使用requests的话，不仅要解析Cookies，还要获取XSRF，比较麻烦
阅读全文
摘要：在上一篇文章中，我们大概讲了一下urllib库中最重要的两个请求方法：urlopen() 和 Request() 但是仅仅凭借那两个方法无法执行一些更高级的请求，如Cookies处理，代理设置等等。 这是就是Handler大显神威的时候了，简单地说，他是各种处理器，有处理验证登录的，有处理Cooki
阅读全文
摘要：上一篇我简单说了说爬虫的原理，这一篇我们来讲讲python自带的请求库：urllib 在python2里边，用urllib库和urllib2库来实现请求的发送，但是在python3种在也不用那么麻烦了，因为只有一个库了：Urllib. urllib库是python的标准库，简而言之就是不用自己安装，
阅读全文
摘要：写在前面的话： 折腾爬虫也有一段时间了，从一开始的懵懵懂懂，到现在的有一定基础，对于这一路的跌跌撞撞，个人觉得应该留下一些文字性的东西，毕竟好记性不如烂笔头，而且毕竟这是吃饭的家伙，必须用心对待才可以，从今天起，我将会把关于爬虫的东西进行一个整理，以供后期的查阅，同时也想将自己的一点点经验分享给大家
阅读全文
摘要：首先简要说一下各种字符编码： 1. ASCII 计算机只认识0101，但如何让计算机认识人类语言？将每个字母和符号给予固定的编号，然后将这个编号转换成二进制，计算机就可以正确识别这些字母与符号，同时计算机也可以逆操作，将二进制转换成对应的编号在翻译成相应的字符来显示给人类，所以产生了ASCII编码。
阅读全文
