【python基础】第31回 加密模块与日志模块
1. openpyxl 模块读取数据
1.1 查看execl文件中所有的工作簿名称，有多少行，列
openpyxl import Workbook
from openpyxl import load_workbook
# wb = Workbook()
# wb1 = wb.create_sheet('作业表', 0)
# wb2 = wb.create_sheet('学习表')
# wb3 = wb.create_sheet('工作表')
# wb1.append(['姓名','年龄','日期','作业'])
# wb1.append(['jason',12,12,'aaa'])
# wb1.append(['zhang',13,13,'bbb'])
# wb1.append(['tom',14,14,'ccc'])
# wb1['B5'] = '=sum(B2:B4)'
wb = load_workbook(r'11.xlsx')
print(wb.sheetnames) # 查看execl文件中所有的工作簿名称 # ['作业表', 'Sheet', '学习表', '工作表']
wb1 = wb['作业表']
print(wb1.max_row) # 列表有几行 5
print(wb1.max_column) # 列表有几列 4
wb.save(r'11.xlsx')</code></pre>
1.2 三种取值
<code>print(wb1['A1'].value) # 第一种取值方式 指定取出取列表内容
print(wb1.cell(row=2,column =2 ).value) # 第二中取值方式 根据行列取值
for i in wb1.rows: # 第三种 循环取值 行
print([j.value for j in i])
for j in wb1.columns: # 第三种 循环取值 列
print([i.value for i in j])
wb.save(r'11.xlsx')</code></pre>
1.3 pandas 在openpyxl模块上加pandas模块
openpyxl不擅长读数据 所以有一些模块优化了读取的方式,pandas模块,一层层优化
import pandas
d = {
'公司名称': ['老男孩', '老女孩', '老伙计', '老北鼻'],
'公司地址': ['上海', '深圳', '杭州', '东京'],
'公司电话': [120, 130, 129, 996],
}
df = pandas.DataFrame(d)
df.to_excel(r'222.xlsx')
2. 爬取链家二手房数据
2.1 获取首页数据
import requests
res = requests.get('https://sh.lianjia.com/ershoufang/') # 只能获取一页数据
with open(r'lj.html','wb') as f:
f.write(res.content) # content 直接写二进制
2.2 获取页数相应信息
import re
import pandas
import requests
# res = requests.get('https://sh.lianjia.com/ershoufang/') # 只能获取一页数据
# with open(r'lj.html','wb') as f:
# f.write(res.content) # content 直接写二进制
with open(r'lj.html','r',encoding='utf8') as f:
data = f.read()
# 1. 研究目标数据 筛选 把特殊标识的都用.*?代替，得出全部的，正则中所有缩进都不要动
title_list = re.findall('<a class="" href=".*?" target="_blank" data-log_index=".*?" data-el="ershoufang" data-housecode=".*?" data-is_focus="" data-sl="">(.*?)</a>',data)
name_list = re.findall('<a href=".*?" target="_blank" data-log_index=".*?" data-el="region">(.*?) </a>',data)
addr_list = re.findall(' - <a href=".*?" target="_blank">(.*?)</a>',data)
info_list = re.findall('<div class="houseInfo"><span class="houseIcon"></span>(.*?)</div>',data)
others_list = re.findall('<div class="followInfo"><span class="starIcon"></span>(.*?)</div>',data)
total_price = re.findall('<div class="totalPrice totalPrice2"><i> </i><span class="">(.*?)</span><i>万</i></div>',data)
unit_price = re.findall('<div class="unitPrice" data-hid=".*?" data-rid=".*?" data-price=".*?"><span>(.*?)</span></div>',data)
d = {
'房屋标题':title_list,
'小区名称':name_list,
'所在街道':addr_list,
'具体信息':info_list,
'其他信息':others_list,
'房屋总价':total_price,
'房屋单价':unit_price
}
df = pandas.DataFrame(d)
df.to_excel(r'333.xlsx')
3. random 随机数模块
3.1 random.random
import random
# 返回0到1之间随机的小数，每次结果都不一样
print(random.random()) # 0.20312916730466013
3.2 random.randint
# 返回1到6之间随机的整数 如 掷骰子
print(random.randint(1, 6)) # 1
3.3 random.choice
# 随机抽取一个
print(random.choice(['a','b','c'])) # b
3.4 random.sample
# 随机抽样，自定义抽取个数
print(random.sample(['a','b','c','v','n','m'],4)) # ['v', 'c', 'b', 'a']
3.5 random.shuffle
# 打乱顺序，如扑克牌洗牌
l1 = [2, 3, 4, 5, 6, 7, 8, 9, 10, 'J', 'Q', 'K', 'A', '大王', '小王']
random.shuffle(l1)
print(l1) # ['A', 'K', '大王', 'Q', '小王', 5, 2, 7, 10, 3, 9, 'J', 6, 8, 4]
3.6 搜狗python工程师笔试题
- 五位随机验证码
# 搜狗python工程师笔试题
# 编写python代码 产生五位随机验证码(数字、小写字母、大写字母)
code = '' # 定义全局变量用于存储所有的验证码
for i in range(5):
# 每次循环都应该产生 数字 小写字母 大写字母
random_int = str(random.randint(0, 9)) # 随机产生一个数字
random_lower = chr(random.randint(97, 122)) # 随机产生一个小写字母
random_upper = chr(random.randint(65, 90)) # 随机产生一个大写字母
# 从上述三个数据值中随机挑选一个作为验证码的一位数据
temp = random.choice([random_int, random_lower, random_upper])
code += temp # 拼接字符串
print(code) # 9Y971 # 3gA22
- 自定义产出几位验证码
def get_code(n):
code = '' # 定义全局变量用于存储所有的验证码
# 编写python代码 产生五位随机验证码(数字、小写字母、大写字母)
for i in range(n):
# 每次循环都应该产生 数字 小写字母 大写字母
random_int = str(random.randint(0, 9)) # 随机产生一个数字
random_lower = chr(random.randint(97, 122)) # 随机产生一个小写字母
random_upper = chr(random.randint(65, 90)) # 随机产生一个大写字母
# 从上述三个数据值中随机挑选一个作为验证码的一位数据
temp = random.choice([random_int, random_lower, random_upper])
code += temp # 拼接字符串
return code
res = get_code(4) # 产出四位验证码
print(res) # Xc6L
res1 = get_code(10) # 产出十位验证码
print(res1) # 2vB1rBupeT
4. hashlib 加密模块
4.1 什么是加密
将明文数据(看得懂)经过处理之后变成密文数据(看不懂)的过程
4.2 为什么要加密
不想让敏感的数据轻易的泄露
4.3 如何判断当前数据值是否已经加密
一般情况下如果是一串没有规则的数字字母符合的组合一般都是加密之后的结果
4.4 加密算法
- 就是对明文数据采用的加密策略
- 不同的加密算法复杂度不一样 得出的结果长短也不一样
- 通常情况下加密之后的结果越长 说明采用的加密算法越复杂
4.5 常见加密算法
md5 sha系列 hmac base64
4.6 代码实参
import hashlib
md5 = hashlib.md5() #选择md5加密算法作为数据的加密策略
md5.update(b'1234') # 往里面添加文明数据，数据必须是bytes类型
res = md5.hexdigest() # 获取加密之后的结果
print(res) # 81dc9bdb52d04dc20036dbd8313ed055
4.7 加密之后的结果一般情况下不能反解密
- 所谓的反解密很多时候其实是偷换概念，提前假设别人的密码是什么，然后用各种算法算出对应的密文，之后构造对应关系，然后比对密文，最终映射明文
4.8 只要明文数据是一样的那么采用相同的算法得出的密文肯定一样
md5 = hashlib.md5()
md5.update(b'123')
md5.update(b'asas')
md5.update(b'dasd')
res = md5.hexdigest()
print(res) # d1aa75b22f4e00507d5a84571c59e5e7
md5 = hashlib.md5()
md5.update(b'123asasdasd')
res1 = md5.hexdigest()
print(res1) # d1aa75b22f4e00507d5a84571c59e5e7
4.9 加盐处理（salt）
# 加盐处理(salt)
# 加盐处理加一个干扰项，让密码被反解的概率更低
md5 = hashlib.md5()
password = input('password>>>:').strip()
md5.update('公司设置的盐(干扰项)'.encode('utf8'))
md5.update(password.encode('utf8'))
res = md5.hexdigest()
print(res) # a8ad1a472729b0e769defc39f2adfc17
4.10 动态加盐（salt）
干扰项每次都不一样,目的是更让密码安全
eg:每次获取当前时间 每个用户用户名截取一段
4.11 加密实际应用场景
- 用户密码加密，注册存储密文，登录也是比对密文
- 文件安全性校验
正规的软件程序写完之后做一个内容的加密，网址提供软件文件记忆该文件内容对应的密文，用户下载完成后不直接运行 而是对下载的内容做加密，然后比对两次密文是否一致 如果一致表示文件没有被改， 不一致则表示改程序有可能被植入病毒 - 大文件加密优化
程序文件100G，一般情况下读取100G内容然后全部加密 太慢，不对100G所有的内容加密 而是截取一部分加密
eg:每隔500M读取30bytes
5. subprocess 模块
# 模拟计算机cmd命令窗口
import subprocess
cmd = input('请输入您的指令>>>:').strip()
cmd = input('请输入您的指令>>>:').strip()
sub = subprocess.Popen(cmd,
shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE
)
# stdout执行命令之后正确的返回结果
print(sub.stdout.read().decode('gbk'))
# stderr执行命令报错之后的返回结果
print(sub.stderr.read().decode('gbk'))
6. 日志模块
6.1 日志简介
6.1.1 什么是日志
日志就类似于是历史记录（日志模块需要你写的代码很少 几乎都是CV）
6.1.2 为什么要使用日志
为了记录事物发生的事实(史官)
6.1.3 如何使用日志
- 日志等级
import logging
logging.debug('debug等级') # 10
logging.info('info等级') # 20
logging.warning('warning等级') # 默认从warning级别开始记录日志 30
logging.error('error等级') # 30
logging.critical('critical等级') # 40
2. 基本使用
import logging
file_handler = logging.FileHandler(filename='x1.log', mode='a', encoding='utf-8', )
logging.basicConfig(
format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
datefmt='%Y-%m-%d %H:%M:%S %p',
handlers=[file_handler, ],
level=logging.ERROR
)
logging.error('报错')
6.2 日志模块组成部分
6.2.1 四个组成部分
日志模块组成部分主要分四个部分
1.日志的产生（准备原材料） logger对象
2.日志的过滤(剔除不良品) filter对象>>>:可以忽略 不用使用
3.日志的产出(成品) handler对象
4.日志的格式(包装) format对象
6.2.2 代码
import logging
# 1.日志的产生(准备原材料) logger对象
logger = logging.getLogger('购物车记录')
# 2.日志的过滤(剔除不良品) filter对象>>>:可以忽略 不用使用
# 3.日志的产出(成品) handler对象
hd1 = logging.FileHandler('a1.log', encoding='utf-8') # 输出到文件中
hd2 = logging.FileHandler('a2.log', encoding='utf-8') # 输出到文件中
hd3 = logging.StreamHandler() # 输出到终端
# 4.日志的格式(包装) format对象
fm1 = logging.Formatter(
fmt='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
datefmt='%Y-%m-%d %H:%M:%S %p',
)
fm2 = logging.Formatter(
fmt='%(asctime)s - %(name)s: %(message)s',
datefmt='%Y-%m-%d',
)
# 5.给logger对象绑定handler对象
logger.addHandler(hd1)
logger.addHandler(hd2)
logger.addHandler(hd3)
# 6.给handler绑定formmate对象
hd1.setFormatter(fm1)
hd2.setFormatter(fm2)
hd3.setFormatter(fm1)
# 7.设置日志等级
logger.setLevel(10) # debug
# 8.记录日志
logger.debug('写了半天 好累啊 好热啊')
6.3 日志配置字典
import logging
import logging.config
# 定义日志输出格式 开始
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' \
'[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
# 自定义文件路径
logfile_path = 'a3.log'
# log配置字典
LOGGING_DIC = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'standard': {
'format': standard_format
},
'simple': {
'format': simple_format
},
},
'filters': {}, # 过滤日志
'handlers': {
#打印到终端的日志
'console': {
'level': 'DEBUG',
'class': 'logging.StreamHandler', # 打印到屏幕
'formatter': 'simple'
},
#打印到文件的日志,收集info及以上的日志
'default': {
'level': 'DEBUG',
'class': 'logging.handlers.RotatingFileHandler', # 保存到文件
'formatter': 'standard',
'filename': logfile_path, # 日志文件
'maxBytes': 1024*1024*5, # 日志大小 5M
'backupCount': 5,
'encoding': 'utf-8', # 日志文件的编码，再也不用担心中文log乱码了
},
},
'loggers': {
#logging.getLogger(__name__)拿到的logger配置
'': {
'handlers': ['default', 'console'], # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕
'level': 'DEBUG',
'propagate': True, # 向上（更高level的logger）传递
}, # 当键不存在的情况下 (key设为空字符串)默认都会使用该k:v配置
# '购物车记录': {
# 'handlers': ['default','console'], # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕
# 'level': 'WARNING',
# 'propagate': True, # 向上（更高level的logger）传递
# }, # 当键不存在的情况下 (key设为空字符串)默认都会使用该k:v配置
},
}
logging.config.dictConfig(LOGGING_DIC) # 自动加载字典中的配置
# logger1 = logging.getLogger('购物车记录')
# logger1.warning('尊敬的VIP客户 晚上好 您又来啦')
# logger1 = logging.getLogger('注册记录')
# logger1.debug('jason注册成功')
logger1 = logging.getLogger('红浪漫顾客消费记录')
logger1.debug('慢男 猛男 骚男')
6.4 实战应用
- 按照软件开发目录规范编写使用
- 日志字典数据应该放在哪个py文件内,字典数据是日志模块固定的配置 写完一次之后几乎都不需要动,它属于配置文件,配置文件中变量名推荐全大写
- 软件开发目录规范中所有py文件的真正作用
def get_logger(msg):
# 记录日志
logging.config.dictConfig(settings.LOGGING_DIC) # 自动加载字典中的配置
logger1 = logging.getLogger(msg)
# logger1.debug(f'{username}注册成功') # 这里让用户自己写更好
return logger1
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 上周热点回顾（3.3-3.9）