Day7 模块

 一、模块定义、导入、优化详解 

　　1.定义

　　模块：本质上就是 .py结尾的python文件，（文件test.py对应的模块名为test）

　　　　用来从逻辑上组织python代码（变量、函数、类、逻辑：实现一个功能）。

　　包：    本质上就是一个目录（一个必须有__init__.py文件的目录）

　　　　用来从逻辑上组织模块。

　　2.导入方法

    import module_ztian
    import module1_ztian,module2_ztian  #导入多个模块
    from module_ztian import *          #导入所有,但不建议使用
    from module_ztian import logger     #导入指定部分
    from module_ztian import logger as logger_ztian  #换名

 　　若所需模块不在当前目录下：

　　　　a：利用 os.path.abspath(__file__) 得到当前文件的绝对路径；

　　　　b：利用 os.path.dirname(os.path.abspath(__file__) 得到当前文件所处的目录名，每多调用一次 os.path.dirname() ,目录回退一级；

　　　　c：利用 sys.path.append() 将达到的目录添加到环境变量中；

　　　　d：import入所需模块。

#若所需模块不在当前目录下，需将模块的路径添加进去
#import module_ztian -》module_ztian.py-》module_ztian.py的路径-》sys.path
>>> import sys
>>> sys.path
[
  '',                  #第一个元素为空，代表当前路径
  'F:\\Python\\Python36\\python36.zip',
  'F:\\Python\\Python36\\DLLs',
  'F:\\Python\\Python36\\lib',
  'F:\\Python\\Python36',
  'F:\\Python\\Python36\\lib\\site-packages'
]

　　3.import本质

　　导入模块的本质就是把python文件解释一遍。

     import module_ztian               # 将模块module_ztian中所有代码解释一遍，相当于module_ztian = all code 。调用模块中的内容：module_ztian.name ；module_ztian.logger()
     from module_ztian import logger   #将模块module_ztian中logger解释一遍，相当于将要导入的那部分直接复制过去

　　导入包的本质就是把该包下的__init__.py文件解释一遍。

　　4.导入优化小技巧

import module_better

def logger():
    module_better.test_better()
    print("in the logger")

def search():
    module_better.test_better()    #每次都要先找module_better再test_better
    print("in the search")

　　可优化为：

from module_better import test_better

def logger():
    test_better()
    print("in the logger")

def search():
    test_better()
    print("in the search")

 二、常用模块 

　　模块通常分为三种：

　　　　标准库（内置模块）：time和datetime

　　　　开源模块（第三方模块）

　　　　自定义模块

　　1.time和datetime模块

　　　　三种形式：时间戳；元组struct_time；格式化的字符串。这三种形式可以相互转换。

>>> import time

#时间戳
>>> time.time()                   
1518239905.471463

#将时间戳转换为struct_time形式
>>> time.localtime()             #struct_time 本地时间（中国UTC+8）
time.struct_time(tm_year=2018, tm_mon=2, tm_mday=10, tm_hour=13, tm_min=18, tm_sec=32, tm_wday=5, tm_yday=41, tm_isdst=0)
>>> time.gmtime()               #struct_time UTC时间
time.struct_time(tm_year=2018, tm_mon=2, tm_mday=10, tm_hour=5, tm_min=18, tm_sec=39, tm_wday=5, tm_yday=41, tm_isdst=0)
>>> time.localtime(234241)
time.struct_time(tm_year=1970, tm_mon=1, tm_mday=4, tm_hour=1, tm_min=4, tm_sec=1, tm_wday=6, tm_yday=4, tm_isdst=0)
>>> time.gmtime(567890)
time.struct_time(tm_year=1970, tm_mon=1, tm_mday=7, tm_hour=13, tm_min=44, tm_sec=50, tm_wday=2, tm_yday=7, tm_isdst=0)

#将struct_time转换为时间戳
>>> time.mktime(time.localtime(345678))
345678.0

#将struct_time转换成格式化的字符串
>>> time.strftime("%Y-%m-%d %H:%M:%S",time.localtime())
'2018-02-10 13:20:52'
#将格式化的字符串转换成struct_time
>>> time.strptime('2018-02-10 13:20:52',"%Y-%m-%d %H:%M:%S")
time.struct_time(tm_year=2018, tm_mon=2, tm_mday=10, tm_hour=13, tm_min=20, tm_sec=52, tm_wday=5, tm_yday=41, tm_isdst=-1)

#将struct_time转换为字符串
>>> time.asctime()
'Sat Feb 10 13:25:54 2018'
#将时间戳转换成字符串
>>> time.ctime()
'Sat Feb 10 13:26:09 2018'

　　

           

　　格式化字符串符号：

　　　　%Y 　　Year with century as a decimal number.
　　　　%m 　　 Month as a decimal number [01,12].
　　　　%d 　　 Day of the month as a decimal number [01,31].
　　　　%H 　　 Hour (24-hour clock) as a decimal number [00,23].
　　　　%M 　　 Minute as a decimal number [00,59].
　　　　%S 　　 Second as a decimal number [00,61].
　　　　%z 　　 Time zone offset from UTC.
　　　　%a 　　 Locale's abbreviated weekday name.
　　　　%A 　　 Locale's full weekday name.
　　　　%b 　　 Locale's abbreviated month name.
　　　　%B 　　 Locale's full month name.
　　　　%c 　　 Locale's appropriate date and time representation.
　　　　%I 　　 Hour (12-hour clock) as a decimal number [01,12].
　　　　%p　　 Locale's equivalent of either AM or PM.

　　常用方法：

>>> time.timezone       #返回当前时区距UTC的偏移秒数
-28800 
>>> 28800/3600
8.0
>>> time.altzone         #返回当前时区距UTC夏令时的偏移秒数
-32400
>>> time.daylight        #当前时区是否夏令时
0
>>> time.localtime().tm_year         #获取struct_time中的值
2018 
>>> time.sleep(3)       #程序睡3秒

 

>>> import datetime

>>> datetime.datetime.now()
datetime.datetime(2018, 2, 10, 14, 0, 18, 188770)
>>> datetime.date.fromtimestamp(time.time())   #时间戳转换为日期格式
datetime.date(2018, 2, 10)
>>> datetime.datetime.now() + datetime.timedelta(3)  #当前时间+3天
datetime.datetime(2018, 2, 13, 14, 1, 52, 147687)
>>> datetime.datetime.now() + datetime.timedelta(-3) #当前时间+3天
datetime.datetime(2018, 2, 7, 14, 2, 10, 508443)
>>> datetime.datetime.now() + datetime.timedelta(hours=3)  #当前时间+3小时
datetime.datetime(2018, 2, 10, 17, 2, 31, 195177)
>>> datetime.datetime.now() + datetime.timedelta(minutes=-30)  #当前时间-30分钟
datetime.datetime(2018, 2, 10, 13, 32, 50, 428909)

 　　2.random模块

>>> import random

>>> random.random()          #产生一个在[0,1)的浮点数
0.0071548601217746866
>>> random.uniform(1,10)     #产生一个[1,10]的浮点数
8.268538968586677

>>> random.randint(1,5)      #产生[1,5]的整数
4
>>> random.randrange(1,10)   #产生[0,10)的整数，顾头不顾尾
8

>>> random.choice("hello random") #从给定序列中随机选一个
'o'
>>> random.choice([1,2,3,4])
2
>>> random.choice((1,2,3,4))
4

>>> random.sample("hello random",2)    #从给定序列中随机选指定个
['r', 'o']

>>> l = [1,2,3,4,5,6]
>>> random.shuffle(l)          #洗牌，只能洗list
>>> l
[2, 3, 1, 4, 6, 5]

 　　随机验证码：

import random

checkcode = ''

for i in range(4):
    current = random.randrange(0,4)
    if current == i:
        temp = chr(random.randint(65,90))
    else:
        temp = random.randint(0,9)
    checkcode += str(temp)
print(checkcode)

 　　3.os模块

os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd
os.curdir  返回当前目录: ('.')
os.pardir  获取当前目录的父目录字符串名：('..')
os.makedirs('dirname1/dirname2')    可生成多层递归目录
os.removedirs('dirname1')    若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir('dirname')    生成单级目录
os.rmdir('dirname')    删除单级空目录，若目录不为空则无法删除，报错
os.listdir('dirname')    列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove()  删除一个文件
os.rename("oldname","newname")  重命名文件/目录
os.stat('path/filename')  获取文件/目录信息
os.sep    输出操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
os.linesep    输出当前平台使用的行终止符，win下为"\t\n",Linux下为"\n"
os.pathsep    输出用于分割文件路径的字符串
os.name    输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command")  运行shell命令，直接显示
os.environ  获取系统环境变量，返回一个字典
os.path.abspath(path)  返回path规范化的绝对路径
os.path.split(path)  将path分割成目录和文件名二元组返回
os.path.dirname(path)  返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path)  返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path)  如果path是绝对路径，返回True
os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path)  如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path)  返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间　

　　4.sys模块

　　5.json和pickle模块

　　json：用于python中简单数据类型和字符串之间相互转换。可用于不同语言之间的数据交换。

import json   #json只能支持简单的数据类型，不支持函数

# def sayhi(name):
#     print("hello",name)

info = {
    'name':'ztian',
    'age':18,
    # 'func':sayhi
}

f = open("test",'w')
#print(json.dumps(info))
# f.write(json.dumps(info))   #将字典转化成字符串写入文件
json.dump(info,f)             #相当于f.write(json.dumps(info))

f.close()

import json

f = open("test",'r')
# data = json.loads(f.read())
data = json.load(f)   #相当于data = json.loads(f.read())
print(data['age'])

　　pickle:用于python特有的类型和python的数据类型之间相互转换。

import pickle

def sayhi(name):
    print("hello",name)

info = {
    'name':'ztian',
    'age':18,
    'func':sayhi
}

f = open("test",'wb')
# f.write(pickle.dumps(info))     #将字典转换成二进制写入文件
pickle.dump(info,f)     #相当于f.write(pickle.dumps(info))
f.close()

import pickle

def sayhi(name):
    print("hello2",name)

f = open("test",'rb')
# data = pickle.loads(f.read())    #pickel得到的函数sayhi和写入的只是名字相同
data = pickle.load(f)              #相当于data = pickle.loads(f.read())
print(data['age'])

 　　6.shelve模块

　　shelve是一个简单的key-value的将内存数据通过文件持久化的模块，是对pickle更上层的封装。

import shelve
import datetime

d = shelve.open('shelve_test')  # 打开一个文件

info = {'age':18,'job':'IT'}
name = ["alex", "rain", "test"]

d["name"] = name  # 持久化列表
d["info"] = info  # 持久化字典
d["date"] = datetime.datetime.now()

d.close()

import shelve

d = shelve.open('shelve_test')  # 打开一个文件
print(d.get('name'))
print(d.get('info'))
print(d.get('date'))

 　　7.xml模块

　　在json还没有诞生的时候用xml来进行不同语言或程序之间的数据交互。

　　xml格式：

<?xml version="1.0"?>
<data>
    <country name="Liechtenstein">
        <rank updated="yes">2</rank>
        <year>2008</year>
        <gdppc>141100</gdppc>
        <neighbor name="Austria" direction="E"/>
        <neighbor name="Switzerland" direction="W"/>
    </country>
    <country name="Singapore">
        <rank updated="yes">5</rank>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <neighbor name="Malaysia" direction="N"/>
    </country>
    <country name="Panama">
        <rank updated="yes">69</rank>
        <year>2011</year>
        <gdppc>13600</gdppc>
        <neighbor name="Costa Rica" direction="W"/>
        <neighbor name="Colombia" direction="E"/>
    </country>
</data>

　　在python中操作xml文件

　　查：

import xml.etree.ElementTree as ET

tree = ET.parse("xmltest.xml")
root = tree.getroot()
print(root)
print(root.tag)

# 遍历xml文档
for child in root:
    print('分割线'.center(50,'-'))
    print(child.tag, child.attrib)
    for i in child:
        print(i.tag, i.text)

print("\n")

# 只遍历year 节点
for node in root.iter('year'):
    print(node.tag, node.text)

　　修改：

import xml.etree.ElementTree as ET

tree = ET.parse("xmltest.xml")
root = tree.getroot()

# 修改
for node in root.iter('year'):
    new_year = int(node.text) + 1
    node.text = str(new_year)
    node.set("updated", "yes")

tree.write("xmltest.xml")

　　删除：

import xml.etree.ElementTree as ET

tree = ET.parse("xmltest.xml")
root = tree.getroot()

# 删除node
for country in root.findall('country'):
    rank = int(country.find('rank').text)
    if rank > 50:
        root.remove(country)

tree.write('output.xml')

　　创建：

import xml.etree.ElementTree as ET

new_xml = ET.Element("namelist")
personinfo1 = ET.SubElement(new_xml, "personinfo1", attrib={"enrolled": "yes"})
name = ET.SubElement(personinfo1,"name")
age = ET.SubElement(personinfo1, "age", attrib={"checked": "no"})
sex = ET.SubElement(personinfo1, "sex")
name.text = 'ztian'
age.text = '18'
personinfo2 = ET.SubElement(new_xml, "personinfo2", attrib={"enrolled": "no"})
name = ET.SubElement(personinfo2,"name")
age = ET.SubElement(personinfo2, "age")
name.text = 'laoz'
age.text = '19'

et = ET.ElementTree(new_xml)  # 生成文档对象
et.write("test.xml", encoding="utf-8", xml_declaration=True)

ET.dump(new_xml)  # 打印生成的格式

 　　8.hashlib模块

　　python3中用hashlib模块来代替md5模块和sha模块来进行加密，提供SHA1,SHA224,SHA256,SHA384,SHA512,MD5算法。

import hashlib

m = hashlib.md5()
m.update(b"Hello")
m.update(b"World")
print(m.digest())          #结果为HelloWorld的md5加密
m.update(b"Hellp Python")

print(m.digest())  # 2进制格式hash
print(m.hexdigest()) # 16进制格式hash
print(len(m.hexdigest()))  

　　9.re模块

　　常用匹配方法

re.match          #从字符串头开始匹配
re.search         #从字符串中匹配
re.findall        #匹配所有要匹配的字符，以列表返回
re.splitall       #把匹配到的字符当做列表分隔符
re.sub            #匹配字符并替换

　　常用正则表达式符号

'.'     默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行
'^'     从字符串头开始匹配，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE)
'$'     字符串结尾确定，或e.search("foo$","bfoo\nsdfsf",flags=re.MULTILINE).group()也可以
'*'     匹配*号前的字符0次或多次，re.findall("ab*","cabb3abcbbac")  结果为['abb', 'ab', 'a']
'+'     匹配前一个字符1次或多次，re.findall("ab+","ab+cd+abb+bba") 结果['ab', 'abb']
'?'     匹配前一个字符1次或0次
'{m}'   匹配前一个字符m次
'{n,m}' 匹配前一个字符n到m次，re.findall("ab{1,3}","abb abc abbcbbb") 结果'abb', 'ab', 'abb']
'|'     匹配|左或|右的字符，re.search("abc|ABC","ABCBabcCD").group() 结果'ABC'
'(...)' 分组匹配，re.search("(abc){2}a(123|456)c", "abcabca456c").group() 结果 abcabca456c
 
 
'\A'    只从字符开头匹配，re.search("\Aabc","alexabc") 是匹配不到的，同^
'\Z'    匹配字符结尾，同$
'\d'    匹配数字0-9
'\D'    匹配非数字
'\w'    匹配[A-Za-z0-9]
'\W'    匹配非[A-Za-z0-9]
's'     匹配空白字符、\t、\n、\r , re.search("\s+","ab\tc1\n3").group() 结果 '\t'
 
'(?P<name>...)' 分组匹配 re.search("(?P<province>[0-9]{2})(?P<city>[0-9]{2})(?P<county>[0-9]{2})(?P<birthday>[0-9]{4})","245356199502152354").groupdict("city") 结果{'province': '24', 'city': '53', 'county' :'56' 'birthday': '1995'}

　　常用匹配模式

re.I(re.IGNORECASE): 忽略大小写（括号内是完整写法，下同）
M(MULTILINE):        多行模式，改变'^'和'$'的行为
S(DOTALL):           点任意匹配模式，改变'.'的行为