11 2021 档案
摘要：xpath解析：最常用且最便捷高校的一种解析方式。通用性。 -- xpath解析原理： -- 1. 实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 -- 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。 -- 环境的安装： -- p
阅读全文
摘要：bs4进行数据解析： -- 数据解析的原理： -- 1.标签定位 -- 2. 提取标签、标签属性中存储的数据值 -- bs4 数据解析的原理： -- 1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中 -- 2.通过调用BeautifulSoup对象中相关的属性或者方法进
阅读全文
摘要：如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始。 而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，在整体中进行匹配。 import rea = """sdfkhellolsdlfsdfiooefo:877898989worldafdsf"""b = r
阅读全文
摘要：聚焦爬虫：爬取页面中指定的页面内容。 -- 编码流程： -- 指定url -- 发起请求 -- 获取响应数据 -- 数据解析 -- 持久化存储 数据解析分类： -- 正则 -- bs4 -- xpath 数据解析原理： -- 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 -- 1.
阅读全文
摘要：Ajax（Web数据交互方式） Ajax 在浏览器与 Web 服务器之间使用异步数据传输（HTTP 请求），这样就可使网页从服务器请求少量的信息，而不是整个页面。 使用Ajax技术网页应用能够快速地将增量更新呈现在用户界面上，而不需要重载（刷新）整个页面， 即在不需要刷新页面的情况下，就可以产生局部
阅读全文
摘要：jsonPython模块中的模块提供了一种称为dump()它将Python对象转换为适当的json对象。它是dumps()方法。 二、json.dump()和json.dumps()的区别 json.dumps()是把python对象转换成json对象的一个过程，生成的是字符串。 json.dump
阅读全文
摘要：requests模块： - urllib 模块 ： 比较老 - requests 模块： requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用： （requests模块的编码流程） -- 指定url -- 发起请求
阅读全文
摘要：http协议： 就是服务器和客户端进行数据交互的一种形式。 常用请求头信息： — User-Agent：请求载体的身份标识 — Conntection： 请求完毕后，是断开连接还是保持连接 常用响应头信息 — Content—Type：服务器响应回客户端的数据类型 https协议： — 安全的超文本
阅读全文
摘要：爬虫在使用场景中的分类： 通用爬虫： 抓取系统重要组成部分。抓取的是一整张页面数据 聚焦爬虫： 是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容 增量式爬虫： 检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。 爬虫的矛与盾 反爬机制： 门户网站，可以通过制定相应的策略或者技术手段
阅读全文
摘要：# 1.自定义异常类， 继承Exception， 魔法方法有init和str（设置异常描述信息）class ShortInputError(Exception): def __init__(self, length, min_len): # 用户输入的密码长度 self.length = lengt
阅读全文
摘要：# 在python中，获取和修改私有属性值# 一般定义函数名get_xx set_xx用来修改私有属性值class Master(object): def __init__(self): self.kongfu = '[师父方法]' def cake(self): print(f'运用{self.k
阅读全文
摘要：class Master(object): def __init__(self): self.kongfu = '[师父方法]' def cake(self): print(f'运用{self.kongfu}来实现')class School(Master): def __init__(self):
阅读全文
摘要：class Master(object): def __init__(self): self.kongfu = '[师父方法]' def make_cake(self): print(f'运用{self.kongfu}来实现')class School(object): def __init__(s
阅读全文
摘要：# 1. 师父类， 属性和方法class Master(object): def __init__(self): self.kongfu = '[古法煎饼果子配方]' def make_cake(self): print(f'运用{self.kongfu}制作煎饼果子')# 为了验证多继承，添加Sc
阅读全文
摘要：class Furniture(): def __init__(self, name, area): self.name = name self.area = areaclass Home(): def __init__(self, address, area): # 地理位置 self.addre
阅读全文
摘要：_str_() ： 当使用print输出对象的时候，默认打印对象的内存地址。如果类定义了_str_方法，那么就会打印从在这个方法中return的数据。 _del_() : 当删除对象时，python解释器也会默认调用_del_()方法。
阅读全文
摘要：# 1. 定义类: 初始化属性、 被烤和添加调料的方法、显示对象信息的strclass SweetPotato(): def __init__(self): # 被烤的时间 self.cook_time = 0 # 烤的状态 self.cook_state = '生的' # 调料列表 self.co
阅读全文
摘要：# 1.定义类： 带参数的init：宽度和高度； 实例方法：调用实例属性class Washer(): def __init__(self, width, height): self.width = width self.height = height def print_info(self): p
阅读全文
摘要：# 目标： 定义init魔法方法设置初始化属性，并访问调用# _init_()方法的作用：初始化对象。"""1. 定义类 init魔法方法： width 和 height 添加实例方法：访问实例属性2.创建对象3.验证成果 调用实例方法"""class Washer(): def __init__(
阅读全文
摘要：# 1.用户输入目标文件 sound.txt.mp3old_name = input('请输入您需要备份的文件名: ')# print(old_name)# print(type(old_name))# 2. 规划备份文件的名字# 2.1 提取后缀 -- 找到名字中的点 -- 名字和后缀分离--最右
阅读全文