摘要：'''1.认识Assert 断言 断言的比较运算符号：assert可以使用比较运算：”==” “!=” ‘’<” “>” “>=” “<=”等符号来比较相等、不相等、小于、大于、大于等于和小于等于。 Assert 语法格式: assert 1 ==1 assert 2+2 ==2*2断言的作用： 1 阅读全文

摘要：了解XML 和xpath Xpath:http://www.w3school.com.cn/xpath/index.asp 安装库 Pip install lxml 什么是xpath Xml是用来存储和传输数据使用的 和html的不同有两点： Xpath用来在xml中查找指定的元素，它是一种路径表达 阅读全文

摘要：beautifulsoup4 灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页的提取。 使用方法： 案例代码展示可不看 import requests from bs4 import * import re urls='https://www.dbmein 阅读全文

摘要：爬虫的使用过程中，网站最简单的反爬虫就是验证发起请求的客户端是否为浏览器，因此需要爬虫模拟浏览器对网站发起请求。 这里介绍一个fake_useraent 1、伪造useragent字符串，每次请求都使用随机生成的useragen 为了减少复杂度，随机生成UA的功能通过第三方模块库fake-usera 阅读全文

摘要：什么是Requests？ Requests 是用python语言编写，基于urllib，采用Apache2 Licensed 开源协议的HTTP库。它比urllib 更加方便，可以节约我们大量的工作，完全满足HTTP 测试需求。 一句话——python实现的简单易用的HTTP 库 Requests的 阅读全文