摘要:
unittest相关内容 一、什么是unittest unittest是Python单元测试框架,类似于JUnit框架。 unittest中有4个重要的概念:test fixture, test case, test suite, test runner Testcase: 一个TestCase的实 阅读全文
摘要:
Scrapy框架的使用 Scrapy框架的命令介绍 scrapy命令分为两种:全局命令和项目命令 全局命令:在哪里都能使用。 项目命令:必须在爬虫项目里才能使用 全局命令 scrapy -h 项目命令 startproject 创建一个爬虫项目 然后进入框架就使用的是项目命令 然后再执行scrapy 阅读全文
摘要:
1.Scrapy框架介绍与安装 1.1.认识Scrapy Scrapy框架介绍: scrapy是有python语言开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 1.2.Scrapy框架网址: 阅读全文
摘要:
postman postman高级用法 (1).⽤例管理 (2).postman断⾔ (3).全局变量与环境变量 (4).请求前置脚本 (5).请求关联 (6).⽤例批量执⾏ (7).读取外部⽂件实现参数化 (8).测试报告产出 测试集 断言 常用断言 Status code:Status code 阅读全文
摘要:
1、接口测试基础 1.1、接口 接口概念 指系统或组件之间的交互点,通过这些交互点可以实现数据的交互(数据加护用的) 1.2、软件接口类型 系统之间的接口:多个内部系统之间的交互 程序内部的接口:方法与方法之间,模块与模块之间的交互 2.接口测试 接口测试:是对系统或组件之间的接口进行测试,主要是校 阅读全文
摘要:
xpath解析入门 1.xpath 是在xml文档中搜索内容的一门语言 2.html是xml的一个子集 <book> <id>1</id> <name>野花遍地香</name> <price>1.23</price> <author> <nick>周大强</nick> <nick>周芷若</nick 阅读全文
摘要:
bs4解析—html语法 HTML(Hyper Text Markup Language)超文本标记语言 最最基础的一些基本语法,想要了解更多请联系我,带你重返军校 <h1 >I love you</h1><h2>I love you too</h2> <p>I love you too too</ 阅读全文
摘要:
每日一爬 将抓取到的数据清晰的展示到data.csv中 需要导包 f = open("data.csv",mode="w",encoding= 'utf-8')csv_writer = csv.writer(f)for i in result: # print(i.group("name")) # 阅读全文
摘要:
re模块 *正则表达式 1、 . 匹配除换行符以外的任意字符 2、 \w 匹配 数字 字母下划线 \W 匹配非数字、字母、下划线 3、 \s 匹配任意的空白符 \S 匹配非空白符 4、 \d 匹配数字 \D 匹配非数字 5、 \n 匹配一个换行符 6、 \t 匹配一个制表符 7、 ^ 匹配字符串的开 阅读全文
摘要:
1.服务器渲染:在服务器那边直接把数据和HTML集合在一起,统一返回给浏览器,这是在页面可以看到源代码的情况下 2.客户端渲染: 每次请求只要一个html,第二次请求拿到数据,进行数据展示,在页面源代码中,看不到数据 优点:拿到的数据是非常有规律的 HTTP 请求头中常见的一些重要的内容(爬虫需要) 阅读全文