2019年12月4日
04、如何提高爬取效率
摘要： 线程池 多任务的异步协程 asyncio 特殊的函数 协程 任务对象 任务对象绑定 事件循环 from multiprocessing.dummy import Pool map(func,alist): 可以让func回调函数处理alist中的每一个列表元素，这个处理的过程是基于异步。 阅读全文
posted @ 2019-12-04 15:27 Ablert丶 阅读(135) 评论(0) 推荐(0) 编辑
03、request 模块高级
摘要： requests高级部分 代理 cookie 验证码的识别 模拟登陆 代理 代理概念：代理服务器。 作用：接受请求==》请求转发。 代理和爬虫之间的关联： 可以使用请求转发的机制使得目的服务器接收到的请求对应ip的一个改变。 为什么要使用代理改变请求的ip地址？ 爬虫程序在短时间内对指定的服务器发起 阅读全文
posted @ 2019-12-04 15:24 Ablert丶 阅读(295) 评论(0) 推荐(0) 编辑
02.数据解析
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2019-12-04 15:18 Ablert丶 阅读(16) 评论(0) 推荐(0) 编辑
2019年12月3日
软件测试基础
摘要： 软件测试过程 单元测试 ​ 单元测试是针对软件基本组成单元(软件设计最小单位)来进行正确性检测的测试工作 ​ 单元测试的目的是检测软件模块对《详细设计说明书》的符合程度 集成测试 ​ 是在单元测试的基础上，将所有模块按照概要设计要求组成为子系统或系统，验证组装功能以及==模块间接口==是否正确的测试 阅读全文
posted @ 2019-12-03 15:01 Ablert丶 阅读(214) 评论(0) 推荐(0) 编辑
2019年12月2日
01、requests 基本使用
摘要： requests模块的基本使用 基于网络请求的模块。 环境的安装：pip install requests 作用：模拟浏览器发起请求 分析requests的编码流程： 1.指定url 2.发起了请求 3.获取响应数据 4.持久化存储 需求：爬取搜狗首页的页面源码数据 需求：简易的网页采集器 上述代码 阅读全文
posted @ 2019-12-02 17:29 Ablert丶 阅读(645) 评论(0) 推荐(0) 编辑
2019年11月29日
Linux遇到的问题
该文被密码保护。 阅读全文
posted @ 2019-11-29 18:35 Ablert丶 阅读(0) 评论(0) 推荐(0) 编辑
2019年11月27日
postman
摘要： about 回到顶部 引子官网的话： Postman是一个API开发的协作平台。Postman的特性简化了构建API的每一步并简化了协作，因此您可以更快地创建更好的API。 下载 官网下载链接：https://www.getpostman.com/downloads/ 百度云链接：https://p 阅读全文
posted @ 2019-11-27 15:59 Ablert丶 阅读(465) 评论(0) 推荐(0) 编辑
jmeter 实战
摘要： JMeter 接口测试 什么是接口测试 概念 内部接口 方法与方法之间的交互 模块与模块之间的交互 一种调用对外包装的接口 Web接口分类 web接口分类：https、http、webService webService： 是走 soap 协议通过 http 传输，请求报文和返回报文都是 xml 格 阅读全文
posted @ 2019-11-27 12:38 Ablert丶 阅读(137) 评论(0) 推荐(0) 编辑
JMeter安装和环境变量搭建
摘要： 下载安装Java JDK环境，设置环境变量 elasticsearch for windows：https://www.cnblogs.com/Neeo/articles/10368280.html elasticsearch for Mac OS：https://www.cnblogs.com/N 阅读全文
posted @ 2019-11-27 11:10 Ablert丶 阅读(129) 评论(0) 推荐(0) 编辑
2019年11月26日
下载项目依赖包
摘要： # 导出D:\MT\AT2>pip freeze > requirements.txt# 导入D:\MT\AT2>pip install -r requirements.txt 阅读全文
posted @ 2019-11-26 21:31 Ablert丶 阅读(217) 评论(0) 推荐(0) 编辑