摘要：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 阅读全文
摘要：
PyQuery模块也是一个解析html的一个模块，它和Beautiful Soup用起来差不多，它是jquery实现的，和jquery语法差不多，会用jquery的人用起来就比较方便了。 Pyquery需要依赖lxml模块，不装的话，使用会报错。 安装 1 2 pip install lxml pi 阅读全文
摘要：
上篇博客说了正则表达式，但是正则学起来比较费劲，写的时候也不好写，这次说下Beautiful Soup怎么用，这个模块是用来解析html的，它操作很简单，用起来比较方便，比正则学习起来简单多了。 这是第三方模块需要安装 1 2 3 pip install beautifulsoup4 pip ins 阅读全文
摘要：
上一篇博客写了怎么发请求和获取到数据，接下来就是该怎么处理数据了，打开一个网站之后，它会返回很多数据，数据很多，有很多都是咱们不需要的，咱们写爬虫的话只获取到对咱们自己有用的数据，就要从返回的数据里面找到咱们需要的数据，然后保存起来。那怎么筛选到咱们需要的数据呢，就得用正则表达式了，正则表达就是写各 阅读全文
摘要：
Jenkins介绍 Jenkins是一个java开发的、开源的、非常好用持续集成的工具，它能帮我们实现自动化部署环境、测试、打包等等的工作，还可以在构建任务成功或者失败之后给我们发邮件通知。 什么叫持续集成呢，就是能重复、持久的去运行一个任务。 Jenkins下载、安装 Jenkins的下载地址是h 阅读全文
摘要：
前面在说爬虫原理的时候说了，就写代码自动化的获取数据，保存下来数据，那怎么写代码来请求一个网址，获取结果呢，就得用requests模块了。 这篇博客说一下requests模块的使用，requests模块是python的一个第三方模块，它是基于python自带的urllib模块封装的，用来发送http 阅读全文
摘要：
我们在写case的时候，如果用例的操作是一样的，就是参数不同，比如说要测一个登陆的接口，要测正常登陆的、黑名单用户登陆的、账号密码错误的等等，在unittest里面就要写多个case来测试。 这样的情况只是调用接口的时候参数不一样而已，再写多个case的话就有点多余了，那怎么办呢，就得把这些参数都写 阅读全文
摘要：
上篇博客里面写了，爬虫就是发http请求（浏览器里面打开发送的都是http请求），然后获取到response，咱们再从response里面找到想要的数据，存储到本地。 咱们本章就来说一下什么是http请求，它里面都有哪些东西，我们在写爬虫的时候，怎么http请求里面哪些对我们的爬虫有影响。 http 阅读全文
摘要：
什么是爬虫？ 爬虫是什么呢，就是地上爬的小虫子，就是爬虫咯。呵呵，开个玩笑，一般说的爬虫都是网络爬虫。那什么是网络爬虫呢，百度百科的解释是这样子的： 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一 阅读全文
摘要：
Scrapy是python开发的一个爬虫框架，如果你要学习它的话，可能第一步在安装的时候，就会遇到很多问题，因为Scrapy很多模块都是基于linux下的，可能你在mac上或者linux上面安装的时候，不会有什么问题，但是Windows上面安装的话，可能会有各种各样的问题。 这里我就把遇到的问题整理 阅读全文