常用模块
一、re正则模块
1.正则表达式
在线测试工具 http://tool.chinaz.com/regex/
1.找出字符串中符合正则的内容
2.返回列表,列表中是正则表达匹配的内容
2.search(往后查找,搜索) :
1.返回一个对象,必须调用group才能看到结果
2.根据正则查找一次,只要查到结果就不会往后查找
3.当查找结果不存在(返回的None),再调用group直接报错,因为none没有group方法
3.match(匹配开头):
1.match匹配字符串开头
2.没有同样返回None
3.同样调用group报错
其他方法:
4.split(切割)
5.sub(替换,指定替换个数)
6.subn(替换,返回元组)
7.compile(编译成对象)
8.finditer(迭代)
9.分组,起别名: ?P<别名>
1.findall(全文查找返回):
res = re.findall('a','asd jeff ball')
res1 = re.findall('[a-z]+','asd jeff ball')
print(res1)
2.search(从上至下查找):
res2 = re.search('a','asd jeff ball')
if res2:
print(res2.group())
3.match(匹配开头):
res3 = re.match('a','asd jeff ball')
if res3:
print(res3.group())
4.split(切割):
ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
print(ret) # ['', '', 'cd']
str = "abcd,ssdhu,123";
print str.split( ); # 以空格为分隔符,包含 \n
print str.split(' ,', 1 ); # 以逗号为分隔符,分隔成两个
5.sub(替换)
ret = re.sub('999', 'H', 'jeff age max 999 8884', 2) # 将数字替换成'H',参数1表示只替换1个
print(ret) # evaHegon4yuan4
6.subn(替换,返回元组)
ret = re.subn('\d', 'H', 'eva3egon4yuan4') # 将数字替换成'H',返回元组(替换的结果,替换了多少次)
print(ret)
7.compile(正则封装为对象)
obj = re.compile('\d{3}') #将正则表达式编译成为一个 正则表达式对象,规则要匹配的是3个数字
ret = obj.search('abc123eeee') #正则表达式对象调用search,参数为待匹配的字符串
print(ret.group()) #结果 : 123
8.finditer(迭代)
ret = re.finditer('\d', 'ds3sy4784a') #finditer返回一个存放匹配结果的迭代器
print(ret) # <callable_iterator object at 0x10195f940>
print(next(ret).group()) #查看第一个结果
print(next(ret).group()) #查看第二个结果
print([i.group() for i in ret]) #查看剩余的左右结果
9.分组
res = re.search('[1]\d{14}(\d{2}[0-9x])?$',110105199812067023
print(res)
print(res.group(1)) # 获取正则表达式括号阔起来分组的内容
print(res.group(2)) # search与match均支持获取分组内容的操作 跟正则无关是python机制
10.起别名:
re.search('[2]?P
print(res.group(passwd))
整则表达式符号:
[a-z]:匹配小写a至z的字母 # ASCLL码表,从小到大
[A-Z]:匹配大写A至Z的字母
. :出换行符的任意字符
\w:匹配字母数字下划线 单词word
\s : 匹配空白符 单词space
\d:匹配数字
\W:匹配除字母数字下划线
\S:匹配除空白符
\D:匹配除数字
\n:匹配换行符
\t:匹配制表符
\b:以什么什么结尾的单词 eg:n\b————表示以n结尾的单词 还可以:tion\b以tion结尾的单词
$ :p匹配字符串的结尾 eg:[0-9x]$: 表示以0-9或x结尾的 tion$ :以tion结尾的字符串
注意:^与$连用,叫精确匹配,中间写什么匹配什么。 eg: ^jeff$ :匹配jeff,以jeff开头并以jeff结尾
a|b :匹配字符a或b eg(错误):ab|abc:先匹配ab,abc就匹配不到了。eg(正确):eg:abc|ab :先匹配abc,再匹配ab,都能匹配到。将长的放在前面
():匹配括号里的表达式,表示一个组
^ :匹配字符串的开头 eg:[3]:表示以0至9开头的 ^art :以art开头
[^...]:表示非,除了字符组中的所有字符。 eg:[^ab]:匹配所有除了ab的字符
量词:
1.必须跟在正则表达后
2.量词只能限制紧挨着的一个表达
:重复零次或多次
+:一次或多次
?:零次或一次
{n}:表示重复n次 eg: \d{11}————匹配11位数字
{n,}:重复n次或更多次
{n,m}:重复n到m次 eg:\d{2,5}————匹配2位至5位的数字
取消贪婪匹配:
贪婪匹配:默认都是贪婪匹配。贪婪匹配都是取大,比如: 表示更多次、+表示多次、?表示一次,当然这只是默认的,当默认贪婪匹配不到,就会表示零次、+表示一次、?表示零次
取消贪婪匹配:量词后面加问号(?)。 eg: 待匹配:李杰和李莲英和李二棍子 正则表达式:李.+? 结果:李杰 李莲 李二 ,因为+后面跟了?,所以+表示一次
转义符:
\ : 取消转义
eg: \n 表示\n
二、import模块
1.import 与from ...import的区别
import : 导入模块
from 模块名 import ...
import 就相当于:把超市给我
from 超市 import 矿泉水:把超市里的矿泉水给我
例子1:不会报错
import aaa
aaa.func1()
aaa.func2()
例子2:报错,因为没有导入func2
from aaa import func1
func1()
func2()
2.模块基本说明
1.什么是模块?
模块就是一系列的功能结合体:
模块的三种来源:
1.内置的模块(pycharm内置自带的)
2.第三方的(别人写的)
3.自定义的(自己写的)
2.为什么要用模块?
1.在python编程中,写程序的时候尽量多去调用模块来完成功能,因为这是python的特点,这样效率高,速度快,提高开发效率
2.当程序比较庞大的时候,需要用模块的形式将庞大的程序一步步拆分,更加的详细清楚
3.模块的查找顺序
1.先从内存中查找
2.pycharm内置中找
3.sys.path中找(环境变量)
4.导入模块的路径
1.绝对导入:无论在执行文件中还是被导入文件中都适用
2.相对导入:
‘.’点代表当前路径
‘..’点点代表上一级路径
‘...’点点点代表上上一级路径
注意:
相对导入不能在执行文件中使用,只能在被导入的模块中使用,相对导入需要知道模块与模块之间的路径关系
三、collertion模块
1.collertion模块基本方法:
1.namedtuple 具名元组(给元组取名)
2.deque 双端队列(左中右添加值,左右取值)
3.OrderedDict 有序字典
4.Counter方法(计算计算字符串的每个字符的个数,并以字典返回)
1.namedtuple 具名元组
from collections import namedtuple
point = namedtuple('坐标', ['x', 'y', 'z'])
p = point(2, 5, 8)
print(p)
print(p.x)
print(p.y)
print(p.z)
结果:坐标(x=2, y=5, z=8) 2 5 8
from collections import namedtuple
card = namedtuple('扑克牌', 'color number')
A = card('♠', 'A')
print(A)
print(A.color)
print(A.number)
结果:扑克牌(color='♠', number='A') ♠ A
2.queue.Queue队列 deque双端队列
import queue
q = queue.Queue() # 生成队列对象
q.put('one') # 传值
q.put('two')
q.put('three')
print(q.get()) # 朝着队列要值,如果取完了,程序原地等待(不结束)
print(q.get())
print(q.get())
print(q.get())
2.deque双端队列
四个方法:
1.append 尾部追加
2.appendleft 左边追加
3.pop 末尾取值
4.popleft 左边取值
5.insert(索引,'值') 根据索引插值
from collections import deque
q = deque(['a', 'b', 'c'])
q.append('尾')
q.appendleft('左')
q.insert(1, '插') # 在索引1位置插入
print(q.pop()) # 结果: 尾
print(q.popleft()) # 结果: 左
print(q.popleft()) # 结果: 插
3.有序字典
from collections import OrderedDict
k = OrderedDict()
k['x'] = 1 # 给固定的键传值
k['y'] = 2
k['z'] = 3
表现:
print(k)
for i in k:
print(i)
4.Counter计算字符次数方法与普通for循环方法
计算字符串中每隔字符出现的次数:
k = 'abcaabca'
d = {}
# 字典的key是固定的,先建一个值为0的字典
for i in k:
d[i] = 0
# 每个字符和字典的key作比较,有就加1
for q in k:
for n in d:
if n == q:
d[q] += 1
print(d)
2.Counter方法
from collections import Counter
k = 'abcaabca'
res = Counter(k)
print(res)
四、time与datetime模块
1.time与datetime模块:
import time
print(time.time()) # 距离1970.01.01的秒数
print(time.strftime('%Y-%m-%d %H:%M:%S')) # 拼接时间格式
print(time.localtime())
time.sleep(3) # 程序暂停3秒
2.时间:
import datetime
print(datetime.date.today()) # 年月日
print(datetime.datetime.today()) # 年月日 时分秒
res = datetime.date.today()
res1 = datetime.datetime.today()
print(res.year) # 年
print(res.month) # 月
print(res.day) # 日
print(res.weekday()) # 第几个星期(从0开始)
print(res.isoweekday()) # 第几个星期(从1开始)
3.时间计算
# 时间计算
import datetime
a = datetime.datetime(2019, 12, 15, 5, 5, 5)
b = datetime.datetime.today()
print(a-b) # 现在时间-指定时间
UTC时间:
import datetime
a = datetime.datetime.today()
b = datetime.datetime.now()
c = datetime.datetime.utcnow() #一区时间,上海东八区
print(a)
print(b)
print(c)
五、random随机模块
# 随机模块
import random
print(random.randint(0, 9)) # 随机取一个0-9的数字,包含头尾
print(random.random) # 取0-1之间的小数
print(random.choice([1, 2, 3, 4])) # 随机从列表中取一个值
打乱顺序shuffle:
res = [1, 2, 3, 4, 5]
random.shuffle(res) # 打乱列表的顺序
print(res)
# 生成随机验证码
a = str(random.randint(0, 9)) # 转成字符串型,才可以相加拼接
b = chr(random.randint(65, 90)) # 大写字母 65-90
c = chr(random.randint(97, 122)) # 小写字母 97-122
# print(a, b, c)
k = ''
for i in range(5):
m = random.choice([a, b, c])
k += m # 让字符串相加,而不是数字
print(k)
m = random.randint(0, 9)
print(type(a))
print(type(m))
六、sys模块和subprocess子进程模块
1.sys模块跟python解释器打交道的
2.sys中的一些方法
import sys
sys.path.append() # 将某个路径添加到环境变量中
print(sys.platform) # 查看当前操作系统
print(sys.version) # python解释器的版本
print(sys.argv) # 命令启动文件 可以做身份验证
3.subprocess 子进程模块
subprocess 子进程模块
"""
sub :子
process:进程
"""
例子1:
输出cmd命令并返回结果:
while True:
cmd = input('cmd>>>:').strip()
import subprocess
obj = subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
print('正确命令返回结果stdout',obj.stdout.read().decode('gbk'))
print('错误命令返回的提示信息stdout',obj.stdout.read().decode('gbk'))
七、json和pickle序列化模块
1.json和pickle的区别特点
json:可以和其他语言玩
pickle:只能和自己(python)玩
2.json 中的一些方法
dumps(转): 将其他数据类型转成json格式的字符串
loads(解): 将json格式字符串转换成其他数据类型
dump(转文件): 将其他数据类型转成json格式的字符串
load(解文件): 将json格式字符串转换成其他数据类型
ensure_ascii=False False表示字典中的汉字不转,Turn表示转中文,默认为Trun
优点: 1.所有语言都支持json格式
缺点: 2.支持的数据类型少
pickle()
优点: 1.python所有数据类型都支持
缺点: 2.只支持python
3.序列化
序列化:
序列:字符串
序列化:其他数据类型转成字符串的过程
序列化:其他数据类型转成字符串的过程
反序列化:字符串转成其他数据类型
注意:
写入文件的数据必须是字符串(二进制)
基于网络传输的数据必须是二进制
例子1:
将字典转换成字符串:k = {'name': 'jeff'}
res = json.dumps(k)
print(res) # 结果:{"name": "jeff"}
print(res, type(res)) # 结果:{"name": "jeff"} <class 'str'>
将上面的字符串转为字典:
res1 = json.loads(res)
print(res1, type(res1)) 结果:{'name': 'jeff'} <class 'dict'>
例子2:对文件的中的内容转换:
转换类型,并写入文件:
d = {"name":"jeff"}
with open(r'userinfo','w',encoding='utf-8') as f:
json.dump(d, f) # 转字符,并自动写入文件
读取内容,并解为python类型:
with open(r'userinfo', 'r', encoding='utf-8') as f:
res = json.load(f) # 解字符,并读取
print(res, type(res))
例子3:
ensure_ascii=False 表示字典中的汉字不转
中文不转码:
d = {'name': '辜老板'}
print(json.dumps(d, ensure_ascii=False)) # ensure_ascii=False识别中文不转码
#结果:{"name": "辜老板"}
中文转码:
d = {'name': '辜老板'}
print(json.dumps(d, ensure_ascii=True)) # ensure_ascii=False识别中文不转码
# 结果:{"name": "\u8f9c\u8001\u677f"} 中文转码了
八、hashlib加密模块
hashlib加密模块:不可逆,但是可以撞库
1.hashlib常用方法
md.update('数据'): 没有提示,记住单词
md.hexdigest() :获取密文,记住单词
hashlib加盐:用手动传入假数据(动态)和真数据混合在一起加密
MD5:常用加密算法
2.hashlib应用场景
1.密码的密文储存
2.校验文件内容是否一致
1.加密:
md = hashlib.md5() # 加密,不可逆
md.update('hello'.encode('utf-8')) # 往对象里传数据加密 ,update只能接受bytes类型
md.update(b'hello')
print(md.hexdigest())
结果:23b431acfeb41e15d466d75de822307c
2.加盐加密:自己添加的东西和客户的真密码一起加密,自己添加的东西可以是动态的
2.加盐 :自己添加的东西和客户的真密码一起加密,自己添加的东西可以是动态的
md = hashlib.md5()
md.update(b'yan.com')
md.update(b'hello') # 加密
print(md.hexdigest()) # 获取密文
例子1:给客户输入的密码加盐加密
import hashlib
# 加盐
def get_md5(date):
md = hashlib.md5()
md.update('加盐'.encode('utf-8'))
md.update(date.encode('utf-8'))
return md.hexdigest()
password = input('password>>>:')
res = get_md5(password)
print(res)
九、loggin日志模块
一、日志级别
CRITICAL = 50 #FATAL = CRITICAL
ERROR = 40
WARNING = 30 #WARN = WARNING
INFO = 20
DEBUG = 10
NOTSET = 0 #不设置
二、默认级别为warning,默认打印到终端
import logging
logging.debug('调试debug')
logging.info('消息info')
logging.warning('警告warn')
logging.error('错误error')
logging.critical('严重critical')
'''
WARNING:root:警告warn
ERROR:root:错误error
CRITICAL:root:严重critical
'''
三、为logging模块指定全局配置,针对所有logger有效,控制打印到文件中
可在logging.basicConfig()函数中通过具体参数来更改logging模块默认行为,可用参数有
filename:用指定的文件名创建FiledHandler(后边会具体讲解handler的概念),这样日志会被存储在指定的文件中。
filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。
format:指定handler使用的日志显示格式。
datefmt:指定日期时间格式。
level:设置rootlogger(后边会讲解具体概念)的日志级别
stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件,默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。
#格式
%(name)s:Logger的名字,并非用户名,详细查看
%(levelno)s:数字形式的日志级别
%(levelname)s:文本形式的日志级别
%(pathname)s:调用日志输出函数的模块的完整路径名,可能没有
%(filename)s:调用日志输出函数的模块的文件名
%(module)s:调用日志输出函数的模块名
%(funcName)s:调用日志输出函数的函数名
%(lineno)d:调用日志输出函数的语句所在的代码行
%(created)f:当前时间,用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d:输出日志信息时的,自Logger创建以 来的毫秒数
%(asctime)s:字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d:线程ID。可能没有
%(threadName)s:线程名。可能没有
%(process)d:进程ID。可能没有
%(message)s:用户输出的消息
介绍
#======介绍
可在logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为,可用参数有
filename:用指定的文件名创建FiledHandler(后边会具体讲解handler的概念),这样日志会被存储在指定的文件中。
filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。
format:指定handler使用的日志显示格式。
datefmt:指定日期时间格式。
level:设置rootlogger(后边会讲解具体概念)的日志级别
stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件,默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。
format参数中可能用到的格式化串:
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息
使用
#========使用
import logging
logging.basicConfig(filename='access.log',
format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
datefmt='%Y-%m-%d %H:%M:%S %p',
level=10)
logging.debug('调试debug')
logging.info('消息info')
logging.warning('警告warn')
logging.error('错误error')
logging.critical('严重critical')
#========结果
access.log内容:
2017-07-28 20:32:17 PM - root - DEBUG -test: 调试debug
2017-07-28 20:32:17 PM - root - INFO -test: 消息info
2017-07-28 20:32:17 PM - root - WARNING -test: 警告warn
2017-07-28 20:32:17 PM - root - ERROR -test: 错误error
2017-07-28 20:32:17 PM - root - CRITICAL -test: 严重critical
part2: 可以为loggin
g模块指定模块级的配置,即所有logger的配置
十、requests爬虫模块
requests 模块
import requests
response = requests.get('https://www.taobao.com')
if response.status_code == 200:
print(len(response.text))
十一、pymysql模块
这个模块可以操作MySQL的模块
用的时候需要下载一下这个模块
例子:
import pymysql
conn = pymysql.connect(
host = '127.0.0.1',
port = 3306,
user = 'root',
password = '123',
database = 'jeff',
charset = 'utf8'
)
cursor = conn.cursor(pymysql.cursors.DictCursor) # 产生游标对象,以字典的形式返回
sql = 'select * from teacher'
cursor.execute(sql) # 执行传入的sql语句
# print(cursor.fetchone()) # 只获取一条数据
# print(cursor.fetchone()) # 只获取一条数据
# print(cursor.fetchone()) # 只获取一条数据
# print(cursor.fetchone()) # 只获取一条数据
# cursor.scroll(2,'absolute') # 控制光标移动 absolute相对于其实位置 往后移动几位
# cursor.scroll(1,'relative') # relative相对于当前位置 往后移动几位
print(cursor.fetchall()) # 获取所有的数据 返回的结果是一个列表
十二、uuid
- uuid.uuid1([node[, clock_seq]]) -- 基于时间戳
由 MAC 地址(主机物理地址)、当前时间戳、随机数生成。可以保证全球范围内的唯一性,
但 MAC 的使用同时带来安全性问题,局域网中可以使用 IP 来代替MAC。该函数有两个参数, 如果 node 参数未指定, 系统将会自动调用 getnode() 函数来获取主机的硬件地址. 如果 clock_seq 参数未指定系统会使用一个随机产生的14位序列号来代替.
注意: uuid1() 返回的不是普通的字符串,而是一个 uuid 对象,其内含有丰富的成员函数和变量。
- uuid.uuid2() -- 基于分布式计算环境DCE(Python中没有这个函数)
算法与uuid1相同,不同的是把时间戳的前 4 位置换为 POSIX 的 UID。
实际中很少用到该方法。
- uuid.uuid3(namespace, name) -- 基于名字的MD5散列值
通过计算名字和命名空间的MD5散列值得到,保证了同一命名空间中不同名字的唯一性,
和不同命名空间的唯一性,但同一命名空间的同一名字生成相同的uuid。
- uuid.uuid4() -- 基于随机数
由伪随机数得到,有一定的重复概率,该概率可以计算出来。
产生一个唯一的随机字符串 import uuid a = str(uuid.uuid4()) print(len(a)) print(a)
- uuid.uuid5() -- 基于名字的SHA-1散列值
算法与uuid3相同,不同的是使用 Secure Hash Algorithm 1 算法
十三.OS模块
os.makedirs('dirname1/dirname2') 可生成多层递归目录
os.removedirs('dirname1') 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推
os.mkdir('dirname') 生成单级目录;相当于shell中mkdir dirname
os.rmdir('dirname') 删除单级空目录,若目录不为空则无法删除,报错;相当于shell中rmdir dirname
os.listdir('dirname') 列出指定目录下的所有文件和子目录,包括隐藏文件,并以列表方式打印
os.remove() 删除一个文件
os.rename("oldname","newname") 重命名文件/目录
os.stat('path/filename') 获取文件/目录信息
os.system("bash command") 运行shell命令,直接显示
os.popen("bash command).read() 运行shell命令,获取执行结果
os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径
os.chdir("dirname") 改变当前脚本工作目录;相当于shell下cd
os.path
os.path.abspath(path) 返回path规范化的绝对路径
os.path.split(path) 将path分割成目录和文件名二元组返回
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) 返回path最后的文件名。如何path以/或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) 如果path存在,返回True;如果path不存在,返回False
os.path.isabs(path) 如果path是绝对路径,返回True
os.path.isfile(path) 如果path是一个存在的文件,返回True。否则返回False
os.path.isdir(path) 如果path是一个存在的目录,则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回,第一个绝对路径之前的参数将被忽略
os.path.getatime(path) 返回path所指向的文件或者目录的最后访问时间
os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间
os.path.getsize(path) 返回path的大小
注意:os.stat('path/filename') 获取文件/目录信息 的结构说明
复制代码
stat 结构:
st_mode: inode 保护模式
st_ino: inode 节点号。
st_dev: inode 驻留的设备。
st_nlink: inode 的链接数。
st_uid: 所有者的用户ID。
st_gid: 所有者的组ID。
st_size: 普通文件以字节为单位的大小;包含等待某些特殊文件的数据。
st_atime: 上次访问的时间。
st_mtime: 最后一次修改的时间。
st_ctime: 由操作系统报告的"ctime"。在某些系统上(如Unix)是最新的元数据更改的时间,在其它系统上(如Windows)是创建时间(详细信息参见平台的文档)。
复制代码
os.sep 输出操作系统特定的路径分隔符,win下为"\\",Linux下为"/"
os.linesep 输出当前平台使用的行终止符,win下为"\r\n",Linux下为"\n"
os.pathsep 输出用于分割文件路径的字符串 win下为;,Linux下为:
os.name 输出字符串指示当前使用平台。win->'nt'; Linux->'posix'