eastonliu

摘要： 测试了下，采用单进程爬取5000条数据大概需要22分钟，速度太慢了点。我们把脚本改进下，采用多进程。 首先获取所有要爬取的URL，在这里不建议使用集合，字典或列表的数据类型来保存这些URL，因为数据量太大，太消耗内存，这里，python的生成器就发挥作用了。 在使用多进程之前，有两个问题需要解决： 阅读全文

摘要： 我们先通过百度搜索智联招聘，进入智联招聘官网，一看，傻眼了，需要登录才能查看招聘信息 没办法，用账号登录进去，登录后的网页如下： 输入职位名称点击搜索，显示如下网页： 把这个URL：https://sou.zhaopin.com/?jl=765&kw=软件测试&kt=3 拷贝下来，退出登录，再在浏览 阅读全文

摘要： 打开fiddler,用火狐或者谷歌浏览器访问https协议的网页，如：https://www.baidu.com/，会报不安全的连接错误 这时就需要我们做一些配置，才能抓取https协议的网页。 首先在fiddler主界面依次点击Tools->Options->HTTPS,勾选Capture HTT 阅读全文

摘要： fiddler 官网地址：https://www.telerik.com/fiddler 进入页面后点击 Free download 进入下载页面，填写用途，邮箱和国家等信息后，点击Download for Windows后就可以下载了 下载完成后自定义安装就可以了。 安装完成后，打开就是如下界面 阅读全文

摘要： 一、下载与安装 1、安装Mongo MongoDB下载地址：https://www.mongodb.com/download-center?jmp=tutorials#community 运行安装程序，一路Next，在到下面界面时，改变安装位置 把MongoDB安装在C盘目录下 继续Next 取消默 阅读全文

摘要： 一、random模块 1、random.random()： 返回0-1之间的随机浮点数 2、random.uniform(a,b): 返回限定范围的随机浮点数，a和b可以是浮点数，也可以是整数 3、random.randint(a,b): 返回限定范围内的整数，包括a和b 4、random.rand 阅读全文

摘要： 一、time模块 1、时间戳 time.time() :从1970-01-01到至今的秒数 2、等待 time.sleep(seconds):等待second秒 3、计算CPU的执行时间 time.clock():统计CPU工作的时间 4、打印UTC时间 time.gmtime(seconds=No 阅读全文

摘要： 记得在刚开始学Python的时候，看到可迭代对象（iterable）、迭代器（iterator）和生成器（generator）这三个名词时，完全懵逼了，根本就不知道是啥意识。现在以自己的理解来详解下这三者的关系。 一、可迭代对象（iterable） 我们知道，在Python世界里，一切皆对象。对象根 阅读全文

摘要： 用例执行完成后，执行结果默认是输出在屏幕上，其实我们可以把结果输出到一个文件中，形成测试报告。 unittest自带的测试报告是文本形式的，如下代码： 生成的txt测试报告如下： 这种TXT文件测试报告不能直观地展示用例执行情况，引入第三方模块HTMLTestRunner，可以展示一份优美的html 阅读全文

摘要： 我们在执行测试用例时，怎么来判断这条用例是否通过呢？唯一的办法就是拿实际结果和预期结果进行比较，如果一致用例就是通过的，否则用例就是失败的。在python中这种比较的方法就叫做断言，unittest框架提供了一系列的断言方法。 常用的断言方法如下： 阅读全文