Python基础笔记

#############################################################################################
# Subject： Python 3
# Author： Blue_Chou
# Update： 2018.12
# 在cmd中执行py文件(路径可加双引号),如：python E:\PythonSrc\mypy_package\demo.py
#############################################################################################

1、输入函数：input('输入提示信息')，获取用户输入，保存成一个字符串！
输出（打印）函数：print(*args, sep=' ', end='\n', file=None)，"sep"分隔符号，"end"打印后的结束方式，活用print的参数，可以实现灵活的打印控制。

2、Python数据类型都是"类（class）"类型。
Python中的变量不需要声明类型（根据Python的动态语言特性而来）。
每个变量在使用前都必须赋值！变量赋值以后才会被创建。
在Python中，变量本身没有数据类型的概念，通常所说的"变量类型"是变量所引用的对象的类型，或者说是变量的值的类型。

dir()：显示对象所有的属性和方法。最棒的辅助函数之一！
dir(__builtins__)：输出所有Python内置系统的变量和函数，首字母大写的是异常类名。
dir(__name__)：输出Python对象的属性和方法。
vars()：输出某对象所有属性，vars()跟__dict__是等同的。
chr()：将十进制数转化为对应的ASCII字符。
ord()：将ASCII字符转化为对应的十进制数。
divmod()：返回商和余数的元组。
reversed()：反转序列。
repr()：调用对象所属类的__repr__方法，与print功能类似。

3、数据类型：
（1）整型：int，长度32位（即long）
赋值方式：① x=99 ② x=int(99)，如果是浮点数，则取整。
转换函数：int()，bin()，oct()，hex()等。
进制表示法：二进制0b，八进制0o，十六进制0x。进行二进制计算时加前缀"0b"，其他类似。

（2）布尔型：bool

（3）浮点型：float（双精度）、complex（复数）、Decimal（定点数）
Decimal入参是整数或字符串，因为float精度不够。 

（4）字符串型：str （Unicode字符构成）
使用三引号（''' '''），可以格式化缩进和换行。
" * "能复制字符串、列表、元组等，如s='#'*9，即9个#。
使用"\"连接，可以换行书写代码。如：
s='abcd'\
'efgh'

字符串对象方法：
s.strip(c)：去除空格或指定的字符c；lstrip/rstrip；
s.zfill(w)：右对齐，宽度小于w用0前补；
s.ljust(w,c)：左对齐，宽度w，填充符c；rjust()右对齐。
s.join(q)：用"s"将序列"q"中的元素串起来； 
s.partition(sep)：以sep为分隔符，把字符串分割，返回一个元组（包含分割符）；
s.split(sep=None, maxsplit=-1)：把字符串以sep为分隔符分割，maxsplit为分割次数，返回一个列表（不包含分割符）；
s.find(t)：返回t的最左位置，未找到，返回-1；
s.index(t)：返回t的最左位置，未找到，返回ValueError异常；
s.capitalize()：第一个字母变大写；
s.title()：每个单词首字母大写；
s.center(width, fillchar=None)：字符串内容居中，在给定的字符串长度width中内容居中，两边用提供的字符fillchar填充，fillchar默认为空；
s.count(sub, start=None, end=None)：在指定位置start与end之间，计算sub字符的数量；
s.endswith(suffix, start=None, end=None)：判断字符串在start与end位置之间是不是以某个子序列suffix结尾，类似方法还可有startwith()；
s.replace(old, new, count=None)：把字符串中某个子序列old替换成一个新序列new，count是替换数，返回一个新字符串；
s.isdigit()：判断是否全是数字；
s.isalpha()：判断是否全是字母；
s.isalnum()：判断是否包含字母或数字；
s.isspace()：判断是否是空字符串；

新式格式化方法（传统格式化方法见本文第11标号）：
s.format()：格式化，用{}配合使用。如'...{0}...{1}...{2}'.format('A','B','C') 或'...{name}...{0}...'.format(20,name='She')；
format参数说明：位置参数必须在关键字参数之前，可以传字典参数。 
用冒号":"进行格式化辅助：
'{0:20}'.format(s) # 宽度20，默认左对齐
'{0:<20}'.format(s) # 宽度20，左对齐
'{0:>20}'.format(s) # 宽度20，右对齐
'{0:^20}'.format(s) # 宽度20，居中
'{0:*>20}'.format(s) # 宽度20，右对齐，用*填充
'{0:.4}'.format(s) # 剪切字符，最大宽度4
'{0:+20}'.format(num) # 对于数值num，宽度20，带符号输出
'{0:#x}'.format(num) # 返回十六进制形式，#b二进制，#o八进制
'{0:,}'.format(num) # 三个数字逗号分组，如银行数
'{0:.2f}'.format(num) # 带2位小数的浮点数
'{0:e}'.format(num) # 科学计数

（4）字节型（二进制）：
bytes（固定的）、bytearray（可变的，可插入可删除某个字符）。
如，bin=b'python' 或 'python'.encode()
binarr=bytearray(bin)， binarr.pop(1)， binarr.insert(1,ord('a'))

（5）其他类型：列表、元组、字典、集合。

4、运算符"/"结果是浮点数，"//"结果是整数，"**"表幂运算，"!="表不等于。
is： 基于内存的身份比较。如，x=('python')，y=('python')，x is y 返回True。"is"和"=="结果类似。
比较操作符： 基于对象值比较。如，x=('python')，y=('python')，x == y 返回True。Python支持链式比较，1 <= a <= 3。
id()： 获取内存地址。
in： 理解为属于，判断成员关系，val in lists。
and 、or： 与、或。短运算逻辑，返回布尔值，或决定结果的操作数。Python中没有"&&"、"||"、"!"符号。
not： 非。总是返回布尔值。
del obj： 只是删除引用对象（当无任何引用对象时，数据才被回收），没有删除内存地址。
[]： 切片操作符或项目操作符。

6、ASCII编码：只有127个字符，字母占1个字节；（无法编码汉字、日文等）
Unicode编码：万国码，字母占2个字节，汉字占3个字节；（字母占用了多余的空间）
utf-8编码：字母占1个字节，汉字占3个字节。（推荐）

7、方法encode('编码格式')：如，'中文'.encode('utf-8')。

8、方法decode('解码格式')：如，b'\xe6\xb1\xaa'.decode('utf-8')。Python对bytes类型的数据用带"b"前缀的单引号或双引号表示。

9、r'\字符'：原生字符串，使转义无效。

10、#!/usr/bin/env python3
告诉Linux/OS X系统，这是一个Python可执行程序，Windows系统会忽略这个注释；
# -*- coding: utf-8 -*-
告诉Python解释器，按照UTF-8编码读取源代码，否则，你在源代码中写的中文输出可能会有乱码。

Python文件名不能和关键字、模块名相同，否则很可能会报找不到属性的错误。

11、print传统格式化（变量前加格式）：
%d 格式化整数
%f 格式化浮点数
%s 格式化字符串
%o 格式化八进制
%x 格式化十六进制

格式化辅助："."精度，"-"左对齐，"+"整数带加号，"0"数字前面填充0，等。

如，print('成绩增长率：%.2f' %(num)) #保留两位小数

12、列表（list），定义用"[]"：有序、重复，列表是可变对象。如果要取最后一个元素，除了计算索引位置外，还可以用-1做索引，直接获取最后一个元素，以此类推，可以获取倒数第2个、倒数第3个。
若L=[...]
print(L) #整个列表
print(*L) #用"*"拆出列表所有元素

组合类型函数，list(),tuple(),dict(),set(),frozenset()只能传入一个参数。

list适合当做"堆栈"，queue.Queue作为"单向队列"，collections.deque作为"双向队列"。

13、列表对象方法：
1）append(self, p_object)：在原有列表最后位置上追加新元素到列表，不生成新的列表。
2）clear(self)：清空列表里面的元素，不生成新列表。
3）copy(self)：复制一份列表，相当于一次浅拷贝。
5）extend(self, iterable)：把iterable中的每个元素扩展成列表的元素，iterable可以是字符串、列表、集合、元组、字典。
6）index(self, value, start=None, stop=None)：查找列表中value元素索引位置，start与stop参数是查找起始与结束位置，默认为None。
7）insert(self, index, p_object)：在列表index索引位置插入元素p_object，当index大于列表包含的元素个数时，在最后位置插入元素。
8）pop(self, index=None)：从列表中取出index位置的值，index默认为None，此时弹除并返回列表中最后一个值。
9）remove(self, value)：移除列表中第一个出现的value元素，value元素不存在列表中时，则抛出ValueError。
10）reverse(self)：反转列表元素的位置。
11）sort(self, key=None, reverse=False)：给列表中的元素排序，reverse实现降序排序，默认为False（升序排列）。【sorted是生成个副本进行排序】。
12）切片[start:stop:step]：从列表中取出一部分元素生成一个新列表，start与stop默认为None，step表示步长值，默认是一个接着一个切取，
如果为2，则表示进行隔一取一操作。步长值为正时表示从左向右取，如果为负，则表示从右向左取。步长值不能为0。
13）索引[index]：获取索引位置index的值。

14、元组（tuple），定义用"()"：有序、重复，tuple和list非常类似，但是tuple是不可变对象，一旦初始化就不能修改，只读，更安全。
元组只保证它的一级子元素不可变，对于嵌套的元素内部，不保证不可变！
如果可能，能用tuple代替list就尽量用tuple。
最好以","结尾，当tuple只有一个元素时，必须以","结尾。 

元组对象方法：
1）count(self, value)：统计元组中包含value元素的数量，返回一个int值。
2)index(self, value, start=None, stop=None)：索引，查找元组中value元素第一个出现的位置，start与stop参数是查找起始与结束位置，默认为None。

15、for <元素> in <范围>:，循环就是把每个元素代入变量x，然后执行缩进块的语句。
for _ in range(n):，使用下划线"_"，循环n次执行循环体。此时"_"作为临时性的名称使用，忽略循环计数中的实际值。

16、range(x1,x2,步长)函数，可以生成一个整数序列，长度为（x2-x1），左闭右开规则。range(n)范围是"0 ~ n-1"。

17、不要滥用break和continue语句。break和continue会造成代码执行逻辑分叉过多，容易出错。
大多数循环并不需要用到break和continue语句。
（1）break只能用于循环体内。其效果是直接结束并退出当前循环，剩下的未循环的工作全部被忽略和取消。
（2）与break不同，continue语句用于跳过当前循环的剩余部分代码，直接开始下一轮循环。

18、字典（dict），定义用{'k':'v'}：无序、不重复，字典是可变对象，在其他语言中也称为map，使用可哈希算法的键-值（"key":"value"）存储，具有极快的查找速度。字典无序。
通过in判断key是否存在，如果key不存在，返回false，如：'Thomas' in d；

字典对象方法：
1）clear(self)：清除字典中的所有元素。
2）copy(self)：复制一份元组，相当于一次浅拷贝。 
3）fromkeys(self, iter, value=None)：分别以iter中的元素为键，以value为值，创建一个字典。
4）get(self, k, d=None)：获取字典中键为k的值，如果字典中不包含k，则给出d值，d默认为None。
5）items(self)：遍历字典的一个方法，把字典中每对key和value组成一个元组，并把这些元组放在一个类似列表的dict_items中返回。
6）keys(self)：遍历字典键keys的一个方法，返回一个类似列表的dict_keys，与items方法用法相同。
7) values(self)：遍历字典值value的一个方法，返回一个类似列表的dict_values，与items方法用法相同。
8）pop(self, k, d=None)：弹除并返回字典中键为k的值。
9）popitem(self)：从字典中随机取出一组键值，返回一个新的元组。
10）setdefault(self, k, default=None)：从字典中获取键为k的值，当存在k时，功能和get基本一致，当字典中不存在k时，在原字典上添加键为k、值为default的项，并返回default值。
11）update(self, E=None, **F)：给字典新增元素，没有返回值。用法：dict.update(dict2)。

19、zip(iter1,...)：组合函数，将对象逐一配对。依次取出每个iter元素组合成tuple，可转成list输出。如，list(zip([1,2],['a','b'])) -->[(1,'a'),(2,'b')]。

20、dict内部存放的顺序和key放入的顺序是没有关系的。
和list比较，dict有以下几个特点：
1)查找和插入的速度极快，不会随着key的增加而变慢；
2)需要占用大量的内存，内存浪费多。

而list相反：
1)查找和插入的时间随着元素的增加而增加；
2)占用空间小，浪费内存很少。

21、集合（set），定义用set({})或{}赋值，定义空集合必须是set()，因为{}表示空字典。无序、不重复，集合是可变对象。
交集：set1 & set2，并集：set1 | set2，交集之外：set1 ^ set2 
固定集合（frozenset），不可变的集合。 
集合没有读取操作！因为集合既不支持下标索引，也不支持字典那样的键取值。

集合对象方法：
1）add(self, *args, **kwargs)：在集合里添加一个元素，不生成新的集合。
2）clear(self, *args, **kwargs)：清空集合里面的元素，不生成新的集合。
3）copy(self, *args, **kwargs)：浅拷贝集合，返回一个新集合。
4）difference(self, *args, **kwargs)：传入一个或多个参数集合对比，返回一个与参数集合不一样元素的集合。
5）discard(self, *args, **kwargs)：删除集合中的某个元素，如果这个元素没有在集合中，不做操作。
6）isdisjoint(self, *args, **kwargs)：对比两个集合，若空交集则返回True，没有则返回False。
7）issubset(self, *args, **kwargs)：判断集合的包含关系，是否是参数集合的子集。
8）pop(self, *args, **kwargs)：从集合中随机（因集合无序）弹除并返回一个元素，如果集合为空，则报TypeError错误。
9）remove(self, *args, **kwargs)：移除集合中的一个元素，这个元素必须在集合中，如果不在，则报TypeError错误。
10）union(self, *args, **kwargs)：两个集合拼接返回一个新集合。
11）update(self, *args, **kwargs)：更新集合，添加集合中没有的新元素，不返回新集合。 

22、"不可变对象"：str、tuple；
"可变对象"：list、dict、set；
对于不变对象来说，调用对象自身的任意方法，也不会改变该对象自身的内容；
比如，字符串虽然像列表一样，通过方括号加下标的方式获取它的子串，当然也包括切片操作，但这一切都不会修改字符串本身。

23、如果想定义一个什么事也不做的空函数，可以用pass语句，如：
def nop():
pass
实际上pass可以用来作为占位符，比如现在还没想好怎么写函数的代码，就可以先放一个pass，让代码能运行起来以致不报错。

24、判断数据类型用内置函数：isinstance(x,(int,float))。
查看数据类型用内置函数：type(obj)。

25、raise TypeError('bad operand type')：抛出异常信息。

26、包：必须包含一个"__init__.py"文件。
import importname[.modulename as newname] ，使用"as"能避免同名同API的包冲突。
from importname import * ，导入非私有的一切对象，使用"*"会调用该包的"__init__.py"模块中"__all__"语句（模块名、类名、方法名列表）。
相对导入：from ..dir import modulename。
将包或模块放入"C:\Python\Lib\site-packages"中，对所有程序都可用。

27、return（或return None），跳出函数。
函数可以同时返回多个值，但其实就是一个tuple。

作用域：局部、全局（global）、外层（nonlocal）。如：

total = 0 # 全局变量
def outerfun():
x = 0 # 局部变量
global total # 声明使用外部全局变量

def innerfun():
nonlocal x # 声明内部函数使用外层的变量
return
return

28、位置参数：传参时，可以直接写值（这种方式必须按照顺序传参），也可以是"参数名=值"（这种方式可以不按顺序传参）。

默认参数：可看作是单一的字典参数，必须放位置参数之后！
定义默认参数要牢记一点：默认参数尽量指向不变的对象！

备注：1.任何参数入参时都可以用"参数名=值"的方式指定入参。
2.使用" * "可整体传入所有位置和默认参数，如def func(arg1,arg2,arg3) data=(1,2,3) func(*data)。

29、可变参数（类似于重载）："*nums" 表示把nums这个"list"或"tuple"的多个元素作为可变参数传进去，定义函数时往往需配用for..in..，如：
不使用可变参数则可用元组或列表：
def calc(arg)，用法：calc((arg1,arg2,arg3,))；
使用可变参数则可直接输入多个参数：
def calc(*arg)，用法：calc(arg1,arg2,arg3)。
注意：可变参数之后的参数进行入参时，必须写"参数名=值"的形式表达。可变参数，必须放在所有的位置参数和默认参数后面！

30、关键字参数（字典参数）："**kwargs"表示把kw这个dict的所有key-value用关键字形式传入到函数的参数中，如：
def func(**kwargs):
print('keys:{0},vals:{1}'.format(kwargs.keys(),kwargs.values()))

用法（调用时必须带上**）： 
extra = {'city': 'Beijing', 'job': 'Engineer',...}
func(**extra) #等价于，func(**{'city': 'Beijing', 'job': 'Engineer',...})
或者一个一个地传入键值：
func(city='Beijing', job='Engineer',...)。

注意：同可变参数类似，关键字参数，必须放在所有的位置参数和默认参数后面！
"万能参数"：当"*args"和"**kwargs"组合起来使用（有先后顺序），理论上能接受任何形式和任意数量的参数。

31、命名的关键字参数：限制关键字参数的名字，调用时带上参数名。需要一个特殊分隔符"*"，"*"后面的参数被视为命名关键字参数。
例如，只接收city和job作为关键字的参数，如：
def person(name, age, *, city, job) ==> 调用时，必须带上"city"和"job"参数名！如：person('nina', 21, city='shenzhen', job='管理')。
函数调用时不要带上*。

32、1）大多数编程语言没有针对尾递归做优化，Python解释器也没有做优化，所以任何递归函数都存在栈溢出的问题。
递归核心思想：每一次递归，整体问题都要比原来减小，并且递归到一定层次时，能直接给出结果！

2）流程控制
1、if condition:
...
elif condition:
...
else: # else可选
...

if语句的简单形式：exp if condition else val

2、while condition:
...
else: # else可选，循环结束后执行else语句
...

3、for el in iter: # 遍历
...
else: # else可选，遍历结束后执行else语句
...

4、备注：在Python中没有"switch – case"语句。

33、切片"[]"：mylist['开始索引':'结束索引':'±步长']，"+"正向切片，"-"逆向切片。
注意：不包含结束索引的位置，如果要包含"结束索引"的值，请将"结束索引"加1。
tuple也可以用切片操作，只是操作的结果仍是tuple；
字符串也可以看成是一种list，也可以用切片操作，只是操作结果仍是字符串。
字符串翻转：str(mystr)[::-1]

34、默认情况下，"dict"迭代的是key。如果要迭代value，可以用for value in d.values()，如果要同时迭代key和value，可以用for k, v in d.items()。

35、判断一个对象是可迭代：
from collections import Iterable
print(isinstance('12345',Iterable))

36、函数enumerate()：可以把一个list的每个元素变成"序号,元素"对（tuple）。

37、列表推导式。
['生成规则' for i in range(1, 11) if i % 2 == 0]，使用[]转成列表，生成的结果元素放前面（表达式），后面跟for循环。可以for嵌套、if条件。
将循环结果进行了表达式运算并保存结果到列表中，直接打印出print(mylist)。

字典推导式。
{'键生成规则':'值生成规则' for k,v in iterable if condition}，使用{}转成字典，必须含有键值。

集合推导式。
{'生成规则' for i in range(1, 11) if i % 2 == 0}，使用{}转成集合。

38、生成器（generator)：只产生数据，不接收数据。创建一个生成器后，基本上不会调用next()，而是通过" for "循环来迭代它，并且不需关心StopIteration的错误。
第一种（类似于迭代），只要把一个列表生成式的[]改成()。不必一次性创建整个list，而是迭代生成，从而节省大量的空间。如： 
gen=(i*i for i in range(1, 11) if i % 2 == 0)

第二种（类似于中断（循环）），利用关键字"yield"则变成了生成器，yield只用于函数中，遇到yield语句中断返回，再次执行时从上次返回的yield语句处继续执行。例：
next()，返回下一个yield参数值；
send(msg)，将msg作为当前的yield表达式的返回值，并返回下一个yield参数值。

#斐波拉契数列#
def fib(max):
n=0
a,b=(0,1) # 利用tuple分别赋值
while n<max:
# print(b)
yield b # 产生数据
a,b=(b,a+b)
n+=1

for v in fib(6): # 一般使用for循环输出
print(v)

#杨辉三角#
def yanghui(lines):
L=[1]
n=0
while n<=lines:
yield L
L = [1] + [L[x-1] + L[x] for x in range(1,len(L))] + [1]
n+=1
for v in yanghui(10):
print(*v) # "*"只输出列表元素

39、可迭代（Iterable）：实现了__iter__()方法，凡是可作用于for循环的对象都是Iterable类型，可迭代的类型有：list、tuple、dict、set、str等。 
迭代器（Iterator）：实现__iter__()方法和next()方法，凡是可作用于"next()"函数的对象都是Iterator类型，它们表示一个惰性计算的序列，
可以通过iter()函数获得一个迭代器（Iterator）对象。

__iter__()：该方法返回一个迭代对象，return self ；
next()：该方法拿到循环的下一个值。

区别：迭代器是一个对象（类），而生成器是一个函数。

40、高阶函数：把函数作为参数传入，也就是"函数式编程"。
函数式编程的三个关联概念：映射、过滤、降低处理。共同特点以函数和Iterable为入参。其他函数式：find, all, any
any()：只要对象非空，或对象中某一个元素是"真元素"（非空、非0、True值），即返回True；
all()：对象中所有元素是"真元素"时，返回True，但是对象为空时（all([])、all({})、all('')），也返回True。

41、映射函数map(函数f,Iter)：即映射，函数f依次作用到Iter的每个元素，并把结果作为新的Iterator返回。结果是个迭代器（Iterator）。

42、过滤函数filter(函数f,Iter)：过滤，函数f依次作用到Iter的每个元素上，若函数f返回True则留下该Iter的元素，若返回False则滤除掉该Iter的元素。

43、统计函数reduce(函数f,Iter)：函数f(arg1,arg2)，该函数f返回的结果又作为arg1，这样的函数f作用在Iter元素上进行累积计算。如，
from functools import reduce
reduce(lambda x,y: x*y, [1,2,3,4,5]) # return 120，或利用操作符模块 reduce(operator.add, [1,2,3,4,5])

44、函数sorted(Iter,<key=函数名>,<reverse=False>)：排序。可以通过函数完成自定义排序，该函数作用在Iter元素上。如：
d={'d':9,'b':2,'a':10,'c':3}
sorted(d.items(), key=lambda e:e[0], reverse=False) # e[0]自动迭代，按键排序

"冒泡排序"：两两比较相邻的元素，如果第一个比第二个大，就交换它们，以此类推。
ls = [87,90,45,23,100,98,12,67,99]
length = len(ls)
for i in range(length-1):
for j in range(length-1-i):
if ls[j] > ls[j+1]:
ls[j], ls[j+1] = ls[j+1], ls[j] # 直接在源列表中交换数据！

print(ls)

"选择排序"：首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾，以此类推。
ls = [87,90,45,23,100,98,12,67,99]
length = len(ls)
for i in range(length):
min_index = i
for j in range(i, length): # 从未排序的里面找最小索引
if ls[j] < ls[min_index]:
min_index = j # 找到最小数的索引

ls[min_index], ls[i] = ls[i], ls[min_index]
print(ls)

"二分法"：查找有序列表：
def bin_search(arr,findind):
mid = int(len(arr)/2)
if findind < 0:
print('不支持反查')
return 
if len(arr) == 0:
print('未找到，列表为空。')
return

elif len(arr) == 1 and findind == 0:
print('找到了：',arr[0])
elif findind >= len(arr):
print('未找到，索引值溢出。')
return 
elif findind < len(arr):
if findind < mid:
bin_search(arr[:mid],findind) # 使用了递归。递归核心思想：每一次递归，整体问题都要比原来减小，并且递归到一定层次时，能直接给出结果！
elif findind > mid:
bin_search(arr[mid+1:],findind)
else:
print('找到了：',arr[mid])
return

45、一个函数可以返回一个计算结果，也可以返回一个函数。
返回一个函数时，牢记该函数并未执行，返回函数中不要引用任何可能会变化的变量。

46、当我们在传入函数时，有些时候，不需要显式地定义函数，直接传入匿名函数（λ）更方便。
lambda '参数': '返回值'。如，lam = lambda x: x**2，则可显式调用lam(3)=9。
sorted.L(key=lambda ele: abs(ele))，隐式调用，会自动将列表L每个元素传入ele。

47、偏函数：当函数的参数个数太多，需要简化时，使用"functools.partial"可以创建一个新的函数，这个新函数可以固定住原函数的部分参数，从而在调用时更简单。如：
int2 = functools.partial(int, base=2) # 修改默认参数值。int函数原先是十进制内容的字符，现在为二进制内容的字符

48、模块：一个.py文件就称之为一个模块。最大的好处是大大提高了代码的可维护性。
导入模块：" from 包名 import 模块名 "。

49、if __name__=='__main__':
test()
这句话表示，仅当直接执行本模块时，执行if代码块。当其他模块调用此模块时，则忽略该代码块。

50、面向对象编程：Object Oriented Programming，简称OOP，是一种程序设计方法。OOP把对象作为程序的基本单元，一个对象包含了数据和操作数据的方法。
具有封装、继承、多态三大特点。Python就是一种面向对象的语言，支持面向对象编程，在其内部，一切都被视作对象。
类是抽象的模板，实例是根据类创建出来的一个个具体的"对象"，每个对象都拥有相同的方法，但各自的数据可能不同。
class Student(object):
attrcls = value # 方法之外的属性，称作类属性。类属性是所有实例公有的属性，每一个实例都可以访问、修改。
def __init__(self, attrobj): # 重写object中__init__()方法初始化，可用super().__init__()调用父类的__init__()初始化。
self.attrobj = attrobj # 实例属性写在这里！实例本身拥有的属性。

class后面紧接着是类名，即Student，类名通常是大写开头的单词，紧接着是继承类（默认为object，在builtins.py模块中第720行~820行），表示该类是从哪个类继承下来的。

"self"一般用在实例方法中，表示只有实例对象能访问，而类对象不能访问。作用：调用自身（实例）的属性或方法。
实例对象：可以访问实例属性/方法和类属性/方法；
类对象：只能访问类属性/方法。 
实例对象：stu=Student([args])，自动进行了两个步骤，首先调用__new__()方法创建实例对象，然后调用__init__()初始化。

Python要么是"public"要么就是"private"，一般要避免下划线的使用：
1.以单下划线开头（_foo）：建议性的私有成员，建议不要在外部访问；
2.以双下划线开头的（__foo）：强制的私有成员，只能在类自己内部中使用；（但是还是可以强制通过"obj._类名__属性名"成功访问，所以Python的私有成员是"假"的）。
3.以双下划线开头和结尾的（__foo__）：魔法方法，即特殊方法专用的标识，通常情况下是自动触发调用的，如__init__()构造函数在初始化时自动调用。
特殊方法特殊使用，这类特殊方法可以重定义，但不是同名调用，而是使用操作符或调用去掉双"__"的方法。
一些魔法方法（或属性）：
__doc__：说明性文档和信息。
__class__：表示当前操作的对象属于哪个类。
__dict__：列出类或对象中的所有成员。
__slots__：限制实例的变量（对继承它的子类不起作用）。
__new__()：创建实例时自动调用。
__init__()：初始化时自动调用。
__del__()：析构方法，当对象在内存中被释放时，自动触发此方法。
__getitem__()、__setitem__()、__delitem__()：按索引方式（方括号）取值、赋值、删除数据。
__iter__()：迭代器方法。 
__str__()与__repr__()：返回用户看到的字符串，而__repr__()返回程序开发者看到的字符串，也就是说，__repr__()是为调试服务的，通常两者代码一样即可。

51、（1）封装：将数据与具体操作的实现代码放在某个对象内部，使这些代码的实现细节不被外界发现，外界只能通过接口使用该对象，而不能通过任何形式修改对象内部实现。
（2）继承：子类在调用某个方法或属性时，首先在自己内部查找，如果没有找到，则开始根据继承机制在父类里查找。
根据父类定义中的顺序，以深度优先的方式逐一查找父类！（当一条路走到黑也没找到的时候，才换另一条路）。
但是，多条路的公共基类最后查找。
（3）多态：一个类实例可以是该类的类型，也可以是父类的类型，但不可以是其子类的类型。

52、对于静态语言（例如Java）来说，如果需要传入Animal类型，则传入的对象必须是Animal类型或者它的子类，否则，将无法调用其中的方法。
对于Python这样的动态语言（"鸭子语言"：如果某个对象调用某个方法，就不必管该对象属于哪个类，只要存在需要调用的方法即可）来说，
则不一定需要传入Animal类型，我们只需要保证传入的对象有其方法就可以了。

53、方法type(数据参数)：返回数据类型。

54、函数与方法区别:
方法（类的）调用方式： 对象.方法名()
函数调用方式： 函数名(对象)
方法的第一个参数是自调参数（self），函数没有自调参数。

55、函数getattr(对象/类,属性)：获取对象/类的属性；
函数setattr(对象/类,属性)：设置对象/类的属性；
函数hasattr(对象/类,属性)：判断对象/类的属性是否存在。

56、动态添加（绑定）属性：
"对象名.新属性名" = "值" ， 此方式添加的属性只对该实例对象有效；
"类名.新属性名" = "值" ， 此方式添加的属性对所有实例对象有效；
"动态"缺点：无法做属性检查，而自定义的"getter()"和"setter()"可以做参数的检查，如判断等。

57、动态添加（绑定）方法：
"对象名.新方法名" = "已定义函数名" ， 此方式添加的方法只对该实例对象有效；
"类名.新方法名" = "已定义函数名" ， 此方式添加的方法对所有实例对象有效；

58、变量__slots__=('属性1','属性2',...)：限制类属性，对象只能访问和修改属性，不能添加和移除属性。但对继承的子类是不起作用的。
如果没有__slots__，类属性存在于__dict__私有字典中。

hasattr(object, name)：
判断一个对象里面是否有name属性或者name方法，返回BOOL值，有name特性返回True， 否则返回False。

getattr(object, name[,default])：
获取对象object的属性或者方法，如果存在打印出来，如果不存在，打印出默认值，默认值可选。

setattr(object, name, values)：
给对象的属性赋值，若属性不存在，先创建再赋值。

59、@property属性装饰器：把类的方法伪装成属性调用的方式，也就是本来是Foo.func()的调用方法，变成Foo.func的方式。
一般用于私有属性，把取值、赋值（getter()、setter()）方法变成属性，则可以通过"obj.__attr"取值，通过"obj.__attr=val"赋值（最好使用私有属性）。
@property 属性装饰器广泛应用在类的定义中，可以控制属性访问，保证对参数进行必要的检查，如判断等，这样，程序运行时就减少了出错的可能性。
例：
class Money:
def __init__(self, dollars, cents):
self.__total_cents = dollars * 100 + cents

#获取属性，直接使用@property，取值-->obj.cents，相当于obj.getter()
@property
def cents(self):
return self.__total_cents % 100;

#设置属性，使用@方法名.setter，赋值-->obj.cents=val，相当于obj.setter()
@cents.setter
def cents(self, new_cents):
self.__total_cents = 100 * self.dollars + new_cents

#删除属性
@cents.deleter
def cents(self):
return

#实例
m=Money(1,1)
m.cents #取值
m.cents=2 #赋值

@classmethod 类方法装饰器，这样，类对象就可以调用该方法（classname.classmethod）。

1）@staticmethod ：类方法装饰器，其跟实例方法的区别是没有"self"参数，并且可以在类不进行实例化的情况下调用；
2）@classmethod ：静态方法装饰器，与实例方法的区别在于所接收的第一个参数不是"self"（类实例的指针），而是"cls"（当前类的具体类型）；
3）@property ：属性装饰器，表示可以通过通过类实例直接访问的信息。

60、Mixin：在设计类的继承关系时，通常，主线都是单一继承下来的，如果需要"组合"额外的功能，通过多重继承就可以实现，这种设计通常称之为Mixin（混合）。
Mixin类一般以Mixin为后缀，使用Mixin类实现多重继承需要注意：
1）首先，它必须表示某一种辅助功能，而不是某个事物；
2）其次，它必须功能单一，如果有多个功能，那就写多个Mixin类；
3）再者，它不依赖于子类的实现；
4）最后，子类即便没有继承这个Mixin类，也照样可以工作，就是缺少了某个功能（比如飞机照样可以载客，就是不能飞了^_^）。

61、1）动态创建类：通过type()函数创建的类和直接写class是完全一样的，因为Python解释器遇到class定义时，仅仅是扫描一下class定义的语法，然后调用type()函数创建出class。
myclass=type('MyClass',(baseclass,),{'func':exfun})
说明：'MyClass'：类名； 
(baseclass,)：继承类，用tuple； 
{'func':exfun}：类方法，dict型，其中exfun是外部定义好的方法。

2）元类（metaclass）：元类创建类（修改当前类），而类创建实例。（很少情况使用。抽象基类、ORM中有应用）
定义：class Name_metaclass(type): # 必须传入type
def __new__(cls, name, bases, attrs): # cls当前准备创建的类；name类名，即"Name_metaclass"；
pass # bases父类集合；attrs类的方法集合。
return type.__new__(cls, name, bases, attrs)

62、捕获异常
try:
pass
except Exception as e: # 捕获异常，尽量指定精确的异常类（类名首字母大写）
pass # 处理异常
raise # 主动抛出一个异常，让上层调用者处理。程序不会往下执行。如果没有抛出，程序会继续往下执行。
else： # 可选，没有异常时执行
pass
finally: # 可选，总是被执行
pass
当认为某些代码可能会出错时，就可以用try来运行这段代码，如果执行出错，则后续代码不会继续执行，而是直接跳转至错误处理代码，
即except语句块，执行完except后，如果有finally语句块（非必需），则执行finally语句块，至此，执行完毕。
所有的错误类型都继承自BaseException，所以在使用except时需要注意的是，它不但捕获该类型的错误，还把其子类也"一网打尽"。

错误和异常：
错误，机器出现的错误不需要处理。
异常，程序运行而能自动识别的异常，一般要捕获处理（立即处理或上抛给调用者）。系统异常与逻辑异常。

63、如果要打印错误追踪，导入logging，如：
import logging
...
except Exception as e:
logging.exception(e) #不需要print()，直接输出错误日志追踪。

64、抛出异常
a、raise Exception('str')
b、raise # raise语句如果不带参数，就会把当前错误原样抛出给调用者。

65、调试。
（1）使用断言"assert"语句。面向开发者设计，用于程序的调试。
凡是用print()来辅助查看的地方，都可以用断言（assert）来替代。
语法：assert '表达式', '输出假结果提示' 
其中，若"表达式"为假，程序终止，并给出"输出提示"；为真，程序继续执行，无输出提示。

（2）使用"logging"日志模块，服务端写入日志，还可以通过http get/post，socket，email写入日志。
例：
logging.basicConfig(level=logging.DEBUG, 
format='%(asctime)s \t %(filename)s \t [line:%(lineno)d] \t %(levelname)s \t %(message)s', 
datefmt='%a, %d %b %Y %H:%M:%S', 
filename='/test.log', 
filemode='w') 
logging.debug('debug message') 
logging.info('info message') 
logging.warning('warning message') 
logging.error('error message') 
logging.critical('critical message') 

参数说明：
level：设置日志最低级别，默认是WARNING，打印出此级别及以上的信息；
format：指定日志显示格式；
datefmt：指定日期时间格式；
filename：日志存储指定的文件，默认是控制台输出；
filemode：文件打开方式；

其中format参数值说明：
%(name)±10s：Logger的名字（+10s宽度为10的字符串，右对齐; -左对齐）
%(levelno)s：数字形式的日志级别
%(levelname)s：文本形式的日志级别
%(message)s：用户输出的消息
%(pathname)s：调用日志输出函数的模块的完整路径名，可能没有
%(filename)s：调用日志输出函数的模块的文件名
%(module)s：调用日志输出函数的模块名
%(funcName)s：调用日志输出函数的函数名
%(lineno)d：调用日志输出函数的语句所在的代码行
%(created)f：当前时间，用UNIX标准的表示时间的浮点数表示
%(relativeCreated)d：输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s：字符串形式的当前时间，默认格式是 "2003-07-08 16:49:45,896"，逗号后面的是毫秒
%(thread)d：线程ID。可能没有
%(threadName)s：线程名。可能没有
%(process)d：进程ID。可能没有 

（3）单元测试（标准库 unittest） 测试驱动开发（TDD）
单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。

编写一个测试类，从unittest.TestCase继承，测试方法必须以"test"开头，否则不被认为是测试方法，测试的时候不会被执行。
对每一类测试都需要编写一个"test_xxx()"方法，由于unittest.TestCase提供了很多内置的条件判断，我们只需要调用这些方法就可以断言输出是否是我们所期望的。
可以在单元测试中编写两个特殊的"setUp()"（初始化、连接库等）和"tearDown()"（清除对象、关闭连接等）方法，这两个方法会分别在每调用一个测试方法的前后分别被执行。

最常用的断言assertEqual(first,second,msg)，与期望值对比是否相等。另一种重要的断言assertRaises(exception)，期待抛出指定类型的异常。
最后运行单元测试：if __name__ == '__main__':
unittest.main()

第三方库 pytest：
安装：pip install pytest （管理员cmd，"pip"与"easy_install"是Python的安装工具）
测试样例可以写在类中，也可以直接写模块中。
与unittest类似，提供setup和teardown函数。但是断言只用原始的assert即可。
运行单元测试：在CMD中执行单元测试文件，命令 "pytest -q testname.py" （-q会清除版本信息，testname为文件名）
生成log结果文件："pytest testname.py --resultlog=filename.txt"
例：TestAdd.py
def setup():
print('start...')
def teardown():
print('end...')
def test_add():
assert MyAdd.add((1, 2, 0)) == 6, '计算有误！'
cmd执行：pytest -q TestAdd.py

（4）性能测试cProfile，用C语言实现。
# 测试内容为test函数，测试结果输出到filename，按cumtime列排序。如果没指定filename，则输出到控制台。
# filename保存的是二进制文件
cProfile.run("test()", filename="result", sort="cumtime")

测试结果是二进制文件，Python提供了一个"pstats"模块，用来分析cProfile输出的文件内容：
p = pstats.Stats("result")
p.strip_dirs().sort_stats('').print_stats() # strip_dirs(): 去掉无关的路径信息
# sort_stats(): 排序，支持的方式和上述的一致
# print_stats(): 打印分析结果，可以指定打印前几行；参数为小数，表示前百分之几的函数信息

66、闭包：如果外部函数里有内部函数，内部函数对上一层的外部函数作用域（但不是在全局作用域）的变量进行引用，那么内部函数就被认为是闭包(closure)。
"装饰器就是一种闭包！"
调用外部函数传递的参数就是自由变量。
简单说，闭包就是根据不同的配置信息得到不同的结果。 
用途1：当闭包执行完后，仍然能够保持住当前的运行环境。（类似静态变量）
用途2：闭包可以根据外部作用域的局部变量来得到不同的结果。（这有点类似配置功能（注册），我们可以修改外部的变量，闭包根据这个变量展现出不同的功能。）
如：
def exfunc(x):
def clofunc(y):
return x + y
return clofunc
调用：f=exfunc(6) # x=6,返回了内部函数clofunc赋给f，即此时调用内部函数，"由外而内"。
print(f(8)) # y=8，结果14

67、装饰器（decorator）：使用@调用装饰器。在不更改原函数的情况下，该函数被调用前，扩展该函数功能。
故装饰器以函数入参，并返回内部函数。例：
1）函数装饰器
def deco(func): # 函数装饰器，故以函数为参数
# @functools.wraps(func) # 可以加上此语句，确保wrapper()函数的名称、docstring与原函数相同
def _wrap(*args2, **kw2): # 内部函数，"*args2,**kw2"，表示可接收任何参数
print('调用了%s()' % func.__name__)
return func(*args2, **kw2) # 返回入参函数
return _wrap # 返回内部函数，闭包。

使用：
@deco #等价语句：now = deco(now) 。通常装饰器没参数，如果装饰器带参，则在装饰器定义时再外套一层函数名并返回内嵌函数。
def now():
print('2017-5-4')

2）类方法装饰器
使用：
@method_decorator(decorator_name) # 参数decorator_name指装饰器的调用
def func():
...

68、IO：涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。
从磁盘【读】文件到内存，就只有【Input】操作，反过来，把数据【写】到磁盘文件里，就只是一个【Output】操作。
现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符）。

69、Python中，所有具有read和write方法的对象，都可以归类为file类型。Python内置了一个open()方法，用于对文件进行读写操作。
open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)：
参数errors='ignore'，如果遇到编码错误后忽略处理。
-----------------------------------------------------------------------------------------------------
r | 只读 | 默认模式，如果文件不存在就报错，存在就正常读取。 
----------------------------------------------------------------------------------------------------- 
w | 只写 | 如果文件不存在，新建文件然后写入；如果存在，先清空文件内容，再写入。 
-----------------------------------------------------------------------------------------------------
a | 追加 | 如果文件不存在，新建文件，然后写入；如果存在，在文件的最后追加写入。 
-----------------------------------------------------------------------------------------------------
x | 新建 | 如果文件存在则报错，如果不存在就新建文件，然后写入内容，比w模式更安全。 
-----------------------------------------------------------------------------------------------------
b | 二进制模式 | 比如rb、wb、ab，以bytes类型操作数据 
-----------------------------------------------------------------------------------------------------
+ | 读写模式 | 比如r+、w+、a+ 
-----------------------------------------------------------------------------------------------------
对于"w+"模式，在读写之前都会清空文件的内容，建议不要使用！
对于"a+"模式，永远只能在文件的末尾写入，有局限性，建议不要使用！
对于"r+"模式，也就是读写模式，配合seek()和tell()方法，可以实现更多操作。

读文件：
f.read(size)：读取一定大小的数据, 然后作为字符串或字节对象返回。
f.readline()：读取一行内容。
f.readlines()：读取所有行，一行一行读入列表中。
f.tell()：获取当前文件指针位置（字节数）。
f.seek(offset, whence=1)：移动文件指针（字节数）。offset 偏移量，whence=0 从文件开头计算，whence=1 从当前位置计算，whence=2 从文件末尾计算。
f.close()：关闭文件对象。

无论读写，都先打开（open）文件的路径，即入口。
例：try:
f=open('D:\Personal\Desktop\PyNote.py','r') #先打开文件
print(f.read()) #一次性全部读取
except IOError as e:
print('读入文件出错',e,sep='||')
finally:
f.close() #无论如何需要关闭流

*推荐使用：另一种简洁读文件方法（不必调用close()方法），使用" with...as... "上下文管理器，操作文件IO是个好习惯：
with open('D:\Personal\Desktop\PyNote.py','r') as file:
print(file.read()) 

70、写文件：
当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。
只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。
忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险，例：
*推荐使用：
with open('D:\Personal\Desktop\PyNote1.txt','w',encoding='utf8') as file:
file.write('写文件！') #返回字符长度

71、字符流（StringIO）。StringIO和BytesIO是在内存中操作str和bytes的方法，使得和读写文件具有一致的接口。流必须先读出来再写入文件中。
from io import StringIO，并先创建一个StringIO实例。以下例1、2均可用getvalue()方法获取流。
例1：使用write()写入流中。
f=StringIO() #创建一个StringIO实例
f.write('字符流IO')
print(f.getvalue()) #用getvalue()方法获取流。
#write()结束后指针在末尾，使用方法tell()能知道指针位置，所以read()方法读取不到。
#除非用方法seek(i)将指针定位开始位置，则可以用read()方法读取。
例2：初始化流，用read()方法读取流。
f = StringIO('Hello!\nHi!\nGoodbye!') #初始化流，指针在开头
while True:
s = f.readline() #可用read()方法读取流
if s == '':
break
print(s.strip()) #strip()去除首尾空格
72、字节流（BytesIO）。类似于字符流。以下例1、2均可用getvalue()方法获取流。
例1：使用write()写入流中。
from io import BytesIO
b=BytesIO() #创建一个BytesIO实例
b.write('字节流'.encode()) 
print(b.getvalue()) #用getvalue()方法获取流。
#write()结束后指针在末尾，使用方法tell()能知道指针位置，所以read()方法读取不到。
#除非用方法seek(i)将指针定位开始位置，则可以用read()方法读取。
例2：初始化流，用read()方法读取流。
b=BytesIO('字节流'.encode()) #初始化流，指针在开头
print(b.read()) #可用read()方法读取流

73、目录与路径：导入os包，import os （当前文件路径：sys.argv[0]）
（1）创建目录：os.mkdir('目录')
（2）删除目录：os.rmdir('目录')
（3）返回目录列表：os.listdir('目录')，返回的是文件列表，而非完整路径。
（4）返回绝对路径：os.path.abspath('路径')，其中的‘路径’也可以是指定的完整路径。当‘路径’是"."表示当前完整目录。
（5）拼接路径（处理不同操作系统路径规则）：os.path.join('D:\Personal','mydir') -->结果：'D:\Personal\mydir'
（6）返回目录：os.path.dirname('D:\Personal\Desktop\mydir.py') -->结果：'D:\Personal\Desktop'
（7）拆出目录和文件名：os.path.split('D:\Personal\Desktop\mydir.py') -->结果：'D:\\Personal\\Desktop'，'mydir.py'
（8）拆出扩展名：os.path.splitext('D:\Personal\Desktop\mydir.py') -->结果：'D:\\Personal\\Desktop\\mydir'，'.py'
（9）返回文件名（含扩展名）：os.path.basename('D:\Personal\Desktop\mydir.py') -->结果：'mydir.py'
（10）文件最后修改时间戳：os.path.getmtime('路径') 
（11）目录树：os.walk('路径')

变量 "__file__" ：可以获取到当前文件的路径！

解压与压缩（import gzip）。
解压（读）：
f = gzip.open('file.txt.gz', 'rb') #打开解压路径
file_content = f.read() #直接解压
f.close()

压缩（写）：
air=open('Air.xml')
fh=StringIO(air.read()) #字符流缓存
airzip=gzip.open('AirZip.xml.gz','wb') #打开压缩路径
airzip.write(fh.getvalue().encode()) #直接压缩
air.close()
airzip.close()

备注：
os ：负责程序与操作系统的交互，提供了访问操作系统底层的接口；
sys：负责程序与python解释器的交互，提供了一系列的函数和变量，用于操控python的运行时环境；
platform：提供操作平台信息的模块，如是Windows平台还是Linux平台。

#********************** os内置模块 **********************#
os.name 查看当前操作系统的名称。windows平台下返回"nt"，Linux则返回"posix"
os.curdir 等价于"."，表示当前目录
os.pardir 等价于".."，表示上级目录
os.getcwd() 取当前工作目录名
os.chdir() 切换工作目录，相当于shell下的cd
os.chmod() 改变目录权限 
os.rename(oldname, newname) 重命名文件
os.walk() 生成目录树下的所有文件名
os.mkdir/makedirs('dirname') 创建目录/多层目录
os.rmdir/removedirs('dirname') 删除目录/多层目录
os.remove('path/filename') 删除文件
os.listdir('dirname') 列出指定目录的文件 
os.path.basename('path/filename') 去掉目录路径，返回文件名
os.path.dirname('path/filename') 去掉文件名，返回目录路径
os.path.join(path1[,path2[,...]]) 将分离的各部分组合成一个路径名
os.path.split('path') 返回(dirname(), basename())元组
os.path.splitext() 返回(filename, extension)元组
os.path.getatime/ctime/mtime() 分别返回最近访问、创建、修改时间（时间戳）
os.path.getsize() 返回文件大小（字符数）
os.path.exists() 是否存在
os.path.isabs() 是否为绝对路径
os.path.isdir() 是否为目录
os.path.isfile() 是否为文件

#********************** sys内置模块 **********************#
sys.argv 命令行参数List，第一个元素是程序本身路径
sys.hexversion 获取Python解释程序的版本值，16进制格式如：0x020403F0
sys.version 获取Python解释程序的版本信息
sys.maxint 最大的Int值
sys.maxunicode 最大的Unicode值
sys.modules 返回系统导入的模块字段，key是模块名，value是模块
sys.path 返回模块的搜索路径，初始化时使用'PYTHONPATH'环境变量的值
sys.platform 返回操作系统平台名称 
sys.exec_prefix 返回平台独立的python文件安装的位置
sys.byteorder 本地字节规则的指示器，big-endian平台的值是'big',little-endian平台的值是'little'
sys.copyright 记录python版权相关的东西
sys.api_version 解释器的C的API版本
sys.stdin 标准输入
sys.stdout 标准输出
sys.stderr 错误输出
sys.modules.keys() 返回所有已经导入的模块列表
sys.exc_info() 获取当前正在处理的异常类，exc_type、exc_value、exc_traceback当前处理的异常详细信息
sys.exit(n) 退出程序，正常退出时exit(0)
sys.exc_clear() 用来清除当前线程所出现的当前的或最近的错误信息 
sys.stdin input()调用了sys.stdin.read()
sys.stdout write()调用了sys.stdout.write()
sys.stderr

74、（1）（a）pickle序列化：把对象转成字节（持久化二进制文件）。经常遇到在Python程序运行中得到了一些字符串、列表、字典等数据，
想要长久的保存下来，方便以后使用，而不是简单的放入内存中关机断电就丢失数据。它可以将对象转换为一种可以传输或存储的格式。如：
import pickle
1. pickle.dumps(obj)：将Python数据序列化为bytes字符串，带"s"即str。

2. pickle.dump(obj, file)：将Python数据序列化到文件内。
file=open('D:\Personal\Desktop\mypy.txt','wb') # 'wb'，以字节写入
pickle.dump(obj,file,protocol=0) # 不带字母"s"的方法与文件相关。protocol=0 为ASCII，1是旧式二进制，2是新式二进制协议
file.close() 

3. pickle.loads(bytes_object)：反序列化，将pickle格式的bytes字符串转换为python类型。

3. pickle.load(file)：反序列化，从pickle格式的文件中读取数据并转换为python类型。
file=open('D:\Personal\Desktop\myp1y.txt','rb') # 'rb'，以字节读取
pickle.load(file) # 反序列，load，将字节转成Python对象
file.close()

pickle序列化的缺点：1.只能用于Python，并且可能不同版本的Python彼此都不兼容。2.不安全。

（b）shelve：字典式持久化。它依赖于pickle模块，但比pickle用起来简单。它的用法和字典类似，支持所有字典类型的操作。
shelve.open(filename, flag='c', protocol=None, writeback=False)：创建或打开一个shelve对象。
参数：writeback=True 优点是，可以动态修改数据，并减少出错的概率。缺点是，在open()的时候会增加额外的内存消耗。

（2）struct结构体：类似C语言的结构体，包含不同类型的数据。将特定的结构体类型打包成字节型数据（二进制流）然后再网络传输，
而接收端也应该可以通过某种机制进行解包还原出原始的结构体数据。网络通信当中，大多传递的数据是以二进制流存在的。
import struct # 打包方法：pack(fmt,values)
bin_data = struct.pack('>i3sf', 1, b'abc', 2.7) # 按格式打包成字节，">"字节顺序，"i"32位整型，"3s"长度为3的字符串，"f"浮点型。
# 字符串需要转成字节，且指定长度。 
struct.unpack('>i3sf',bin_data) # 解析，解包还原成Python对象，返回元组 
struct.calcsize(fmt)：用于计算格式字符串所对应的结果的长度，如：struct.calcsize(‘ii’)，返回8。因为两个int类型所占用的长度是8个字节。
或：
strc=struct.Struct(fmt) # Struct类，初始化打包/解包格式fmt
strc.pack(data)
strc.unpack(bin_data)

75、json序列化（持久化，结果一定是双引号格式，并且不能有多余的逗号）。json不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。
json是一种轻量级的数据交换格式，json是跨语言，跨平台的，便于接口数据交互。

json序列化：
import json
json.dumps(dic_obj, indent=4) # 参数是字典类型，dumps将Python对象转成json格式（字符串）。indent=4 缩进格式

json反序列化（解析）：
json_str='{"name":"wcw","addr":"bj"}' # 注意用单引号包起来
inv_json=json.loads(json_str) # loads加载json数据转成Python对象
print(inv_json) # 结果是字典

类对象的json序列化：
stu = Student('wcw',20,100) # 实例
json.dumps(stu.__dict__, indent=4) # 用内置属性__dict__

pickle也可以对类对象序列化！

76、多线程（threading）。
Python的标准库提供了两个模块：threading和_thread。_thread是低级模块，threading是高级模块，绝大多数情况下，只使用threading这个高级模块。
multiprocessing模块的完全模仿了threading模块的接口，二者在使用层面，有很大的相似性。

一些属性与方法：
os.getpid()：获取操作系统的进程ID。
threading.current_thread()：返回当前线程。
getName()，setName()：获取，设置线程/进程名称。
start()：开启线程/进程。
terminate()：强制终止线程/进程。
is_alive()：线程/进程是否是激活状态。
setDaemon()：把子线程/进程都设为主线程的守护线程/进程，当主线程结束后，守护子线程/进程也会随之结束。必须在start()之前。
join([timeout])：使子线程/进程按顺序执行，timeout是执行超时时间。

有两种方式来创建线程：一种是自定义线程类，即继承Thread类，并重写它的run()方法；
另一种是在实例化threading.Thread对象的时候，将线程要执行的任务函数作为参数传入线程。

1）自定义线程类：
class Threads(threading.Thread):
def __init__(self,name):
super(Threads, self).__init__()
self.name=name 
def run(self): # 重写run()方法
time.sleep(1)
print('{0}启用线程：{1}'.format(self.name,threading.current_thread())) 

if __name__ == '__main__':
t= Threads('ThrName')
t.start()
t.join()
print('end...')

2）实例化Thread：
# 写个任务函数
def dowaiting():
t1 = time.time()
print('进入线程:', datetime.datetime.fromtimestamp(t1).time())
time.sleep(2)
t2 = time.time()
print('退出线程:', datetime.datetime.fromtimestamp(t2).time())

if __name__ == '__main__':
thr = threading.Thread(target=dowaiting) # 实例化Thread，传入任务函数
thr.start()
time.sleep(1)
print('join开始')
thr.join()
print('join结束')

77、线程锁：当多个线程同时操作一个对象，如果没有很好地保护该对象，会造成程序结果的不可预期，这被称为“线程不安全”。
为了保证数据安全，我们设计了线程锁，即同一时刻只允许一个线程操作该数据。 

（1）互斥锁（Lock）：互斥锁是一种独占锁，同一时刻只有一个线程可以访问共享的数据。
使用很简单，初始化锁对象，然后将锁当做参数传递给任务函数，在任务中加锁，使用后释放锁。
例：
num = 0
def plus(lk):
global num # global声明此处的num是外面的全局变量num
with lk: # 所有的线程锁都有一个加锁和释放锁的动作，非常类似文件的打开和关闭。可以用"with"上下文管理器。
for _ in range(10000):
num += 1
print('子线程%s结束，num = %d' % (threading.current_thread().getName(), num))

if __name__ == '__main__':
lock = threading.Lock() # 实例化互斥锁
for i in range(2):
t = threading.Thread(target=plus, args=(lock,), name='-互斥锁线程-')
t.start()
time.sleep(2) # 等待2秒，确保2个子线程都已经结束运算
print("主线程执行完毕后，num = ", num)

（2）信号量锁（Semahpore）：这种锁允许一定数量的线程同时更改数据，它不是互斥锁。
比如地铁安检，排队人很多，工作人员只允许一定数量的人进入安检区，其它的人继续排队。
例：
def testsema(n, se):
with se:
print('运行第%d个线程。' % n)
time.sleep(1)

if __name__ == '__main__':
semas = threading.Semaphore(5)
for i in range(1, 21):
thr = threading.Thread(target=testsema, args=(i, semas))
thr.start()

（3）事件锁（Event）：全局定义了一个"Flag"，如果Flag值为True，线程不再阻塞。如果Flag的值为False，那么当程序执行wait()方法时就会阻塞。
事件主要提供了四个方法set()、wait()、clear()和is_set()：
set()：将事件的Flag设置为True，不阻塞。
clear()：将事件的Flag设置为False，阻塞。 
wait()：等待Flag值。
is_set()：判断当前Flag值。
例：
event = threading.Event()
def lighter():
green_time = 3 # 绿灯时间
red_time = 3 # 红灯时间
event.set() # 初始设为绿灯
while True:
print("\33[32;0m 绿灯亮...\33[0m")
time.sleep(green_time)
event.clear()
print("\33[31;0m 红灯亮...\33[0m")
time.sleep(red_time)
event.set()

def run(name):
while True:
if event.is_set(): # 判断当前是否"放行"状态
print("一辆[%s] 开过去了..." % name)
time.sleep(1)
else:
print("一辆[%s] 看到红灯，立即停下了..." % name)
event.wait()
print("[%s] 看到绿灯亮了，立即走起..." % name)

if __name__ == '__main__':
light = threading.Thread(target=lighter,)
light.start()
for name in ['东风', '吉利', '奇瑞']:
car = threading.Thread(target=run, args=(name,))
car.start() 

（4）线程通讯，同进程通信queue。（见80节）

78、全局解释器锁（GIL）。
在大多数环境中，单核CPU情况下，本质上某一时刻只能有一个线程被执行，多核CPU时则 可以支持多个线程同时执行。
但是在Python中，无论CPU有多少核，同时只能执行一个线程。这是由于GIL的存在导致的。
Python中想要充分利用多核CPU，就用多进程。因为每个进程有各自独立的GIL，互不干扰，这样就可以真正意义上的并行执行。
在Python中，多进程的执行效率优于多线程（仅仅针对多核CPU而言）。建议在IO密集型任务中使用多线程，在计算密集型任务中使用多进程。
另外，深入研究Python的协程机制，会有惊喜的。

79、多进程（multiprocessing）。Python提供了非常好用的多进程包multiprocessing。
python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），则使用多进程。
需要再次强调的一点是：与线程不同，进程是独立的，没有任何共享状态，进程修改的数据，改动仅限于该进程内。 

任何进程默认就会启动一个线程，我们把该线程称为主线程。
对于操作系统来说，一个任务就是一个进程（Process）。有些进程还不止同时干一件事，把进程内的这些"子任务"称为线程（Thread）。
线程是最小的执行单元，而进程由至少一个线程组成。

！注意：在Windows中进程类Process必须放到" if __name__ == '__main__' "下，显然这只能用于调试和学习，不能用于实际环境。

（1）实例进程类Process
if __name__=='__main__': # 必须在main中执行
p=Process(target='子进程代码块',name='自定义子进程名',arg=('子进程的参数',),kwargs={'子进程字典'}) # 实例一个子进程，target传入函数，arg是元组。
p.start() # 运行进程，自动调用run()方法
p.join([timeout]) # 子进程/线程的执行超时时间（默认直到执行结束）
p.terminate() # 强制终止进程，不会进行任何清理操作，不会释放锁，进而导致死锁，小心使用
p.is_alive() # 如果子进程仍然运行，返回True

（2）自定义进程类
class ClsProcess(multiprocessing.Process):
def __init__(self, intv):
super(ClsProcess, self).__init__()
self.intv = intv
def run(self): # 重写run()方法
n = 3
while n > 0:
print('现在时间是：{0}'.format(time.ctime()))
time.sleep(self.intv)
n -= 1
if __name__ == '__main__':
p = ClsProcess(1)
p.start() # 自动调用类中的run()方法。
p.join()

进程锁：
与threading类似，在multiprocessing里也有同名的锁类Lock，Semaphore和Event等，连用法都是一样一样的，这一点非常友好！
进程之间数据不共享，加锁的目的是为了保证多个进程修改同一块数据时，同一时间只能有一个修改，即串行的修改，没错，速度是慢了，牺牲了速度而保证了数据安全。

例：进程互斥锁Lock，与线程互斥锁用法相似：
def work(filename, lock): # 模拟买票，给任务加锁
with lock: # 添加进程锁参数，由于进程锁也是上下文（__enter__为acquire()，__exit__为release()），所以可使用with处理
with open(filename, encoding='utf-8') as f:
dic = json.loads(f.read())
print('剩余票数: %s' % dic['count'])
if dic['count'] > 0:
dic['count'] -= 1
time.sleep(random.randint(1, 3)) # 模拟网络延迟
with open(filename, 'w', encoding='utf-8') as f:
f.write(json.dumps(dic))
print('%s 购票成功' % os.getpid())
else:
print('%s 购票失败' % os.getpid())

if __name__ == '__main__':
lock = Lock() # 使用进程锁，传入"任务"的参数中
for i in range(5):
p = Process(target=work, args=('db.json', lock))
p.start()
p.join()

80、线程/进程通信：线程/进程彼此之间互相隔离，要实现线程/进程间通信，Python提供了队列queue（线程通信）、管道Pipe（进程通信）等多种方式来交换数据。
（1）消息队列Queue([maxsize])。队列先进先出，底层以管道加锁的方式实现。
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。
生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产数据之后不用等待消费者处理，直接扔给阻塞队列，
消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。
例：
import queue
## 生产者，队列q入参
def producer(q,data):
for item in data:
time.sleep(random.randint(1, 2))
print('生产者生产了：%s' % item)
q.put(item) # 数据放入队列中
## 消费者，队列q入参
def consumer(q):
while True: # 循环取数据
time.sleep(random.randint(1, 2))
res = q.get() # 从队列中取数据。get_nowait()：不需要一直等待，一旦队列空了，则抛出异常，此时可以捕获它
if res is None: break
print('消费者拿到了：%s' % res)
if __name__ == '__main__':
que = queue.Queue() # 使用队列通信

# 生产者和消费者分别开启线程，然后通信
pro = threading.Thread(target=producer, args=(que,[1, 2, 3]))
con = threading.Thread(target=consumer, args=(que,))
pro.start()
con.start()
pro.join()
print('主线程')

que.empty()：调用此方法时que为空则返回True，该结果不可靠，比如在返回True的过程中，如果队列中又加入了项目。
que.full() ：调用此方法时que已满则返回True，该结果不可靠，比如在返回True的过程中，如果队列中的项目被取走。

（2）管道Pipe([duplex])：管道是双工通信模式。
在进程之间创建一条管道，并返回元组（conn1,conn2），其中conn1，conn2表示管道两端的连接对象，强调一点：必须在产生Process对象之前产生管道。
参数dumplex：默认管道是全双工的；若将duplex设成False，管道是单工，conn1只能用于发送，conn2只能用于接收。
例：
from multiprocessing import Pipe
def prodctor(p, data):
psend, precv = p
# precv.close()
for d in data:
psend.send(d)
time.sleep(0.5)
else: # 循环结束时
psend.close()

def consumer(p, name):
psend, precv = p
# psend.close()
while True:
try:
chanpin = precv.recv()
print('{0}获取产品：{1}'.format(name, chanpin))
except EOFError:
precv.close()
break

if __name__ == '__main__':
psend, precv = Pipe()

# 生产者和消费者分别开启进程，然后通信
pro = Process(target=prodctor, args=((psend, precv), [1, 2, 3, 4, 5]))
con = Process(target=consumer, args=((psend, precv), '消费者'))
pro.start()
con.start()
print(psend.fileno())
pro.join()
con.join()
psend.close()
precv.close()
print('=>主进程')

81、线程/进程池（Pool）：因为在切换线程/进程的时候，需要切换上下文环境，线程很多的时候，依然会造成CPU的大量开销。为解决这个问题，线程池的概念被提出来了。
预先创建好一个数量较为优化的线程/进程组，在需要的时候立刻能够使用，就形成了线程/进程池。
如果池还没有满，那么就会创建一个新的线程/进程用来执行该请求；但如果池中的线程/进程数已经达到规定最大值，那么该请求就会等待。

Python没有内置的线程池模块，需要自己实现或使用第三方模块，但提供了进程池模块（from multiprocessing import Pool）。
apply()：同步执行（串行）
apply_async()：异步执行（并行）
terminate()：立刻关闭进程池
close()：等待所有进程结束后，才关闭进程池。
join()：主进程等待所有子进程执行完毕。必须在close或terminate()之后。 
例：
if __name__=='__main__':
p = Pool(processes=4) # 允许最多同时放入4个进程，自由调配子程序。默认是本机的CPU核数。
for i in range(20): # 开启20个进程
res = p.apply_async(func=task, args=(x,), callback='回调函数') # 异步运行进程池，func传入函数，arg是元组，有返回结果

p.close() # 调用join()之前必须先调用close()
p.join() # 等待目前子进程结束后，继续运行下一个子进程。如果没有则进入主进程

res.get() # 得到子程序返回结果
res.ready() # 子程序是否调用完成
res.successful() # 子程序是否调用成功

进程池方法apply_async()中的回调函数callback说明：
a、不需要回调函数的场景：如果在主进程中等待进程池中所有任务都执行完毕后，再统一处理结果，则无需回调函数，如上例。
b、需要回调函数的场景： 进程池中任何一个任务一旦处理完了，就立即告知主进程，主进程则调用一个函数去处理该结果，该函数即回调函数。
例：
def get_page(url):
print('<进程 %s> 正在下载页面: %s' % (os.getpid(), url))
time.sleep(random.randint(1, 3))
return url+'/???' # 用url充当下载后的结果

def parse_page(page_content): # 以子进程的返回值作为参数
print('<进程 %s> 正在解析页面: %s' % (os.getpid(), page_content))
time.sleep(1)
print('{%s 回调函数处理结果: 成功！}' % os.getpid())

if __name__ == '__main__':
urls = [
'http://www.taobao.com/v1.0/1',
'http://www.taobao.com/v1.0/2',
'http://www.taobao.com/v1.0/3',
'http://www.taobao.com/v1.0/4',
'http://www.taobao.com/v1.0/5',
'http://www.taobao.com/v1.0/7' ]
p = Pool()
# 异步的方式提交任务,然后把任务的结果交给callback处理
# 注意:会专门开启一个进程来处理callback指定的任务(单独的一个进程,而且只有一个)
for url in urls:
p.apply_async(get_page, args=(url,), callback=parse_page) # 以子进程的返回值作为callback的参数
# 异步提交完任务后,主进程先关闭p(必须先关闭),然后再用p.join()等待所有任务结束(包括callback)
p.close()
p.join()
print('{主进程 %s}' % os.getpid())

82、ThreadLocal：一个ThreadLocal变量虽然是全局变量，但每个线程都只能读写自己线程的独立副本，互不干扰。
*作用：解决在一个线程中多个函数之间互相传递参数的问题。
ThreadLocal最常用的地方就是为每个线程绑定一个数据库连接，HTTP请求，用户身份信息等，
这样一个线程的所有调用到的处理函数都可以非常方便地访问这些资源。例： 
import threading
local = threading.local() #实例一个ThreadLocal对象，用于封装属性，并能保证多线程使用该属性而不互相干扰
#线程调用的方法
def func1(name, age, score):
local.name = name #封装属性
local.age = age
local.score = score
func2() #调用某个函数，将参数传给func2

def func2():
name = local.name #读取属性
age = local.age
score = local.score
print('name:%s,age:%d,score:%0.1f' % (name, age, score), threading.current_thread().ident)

thr = threading.Thread(target=func1, args=('汪春旺', 25, 99.5))
thr.start() 
thr.join()

83、进程 VS 线程。
要实现多任务，通常我们会设计Master-Worker模式，Master（主进程/线程）负责分配任务，Worker（子进程/线程）负责执行任务。

进程优点：稳定性高，因为一个子进程崩溃了，不会影响主进程和其他子进程。
进程缺点：耗CPU和内存。

线程优点：效率高。
线程缺点：任何一个线程挂掉都可能直接造成整个进程崩溃，因为所有线程共享进程的内存。

任务分为：计算密集型和IO密集型。
计算密集型（C等）任务主要消耗CPU资源，多核提升的是计算性能； -->>使用多进程
IO密集型（Python等）任务主要涉及到网络、磁盘IO，多核对IO操作没什么用处； -->>使用多线程

在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。

分布式进程：Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。

84、异步IO（即"协程"，coroutine）：对于IO密集型任务我们还有一种选择就是协程。协程是运行在单线程中的"并发"，协程相比多线程的一大优势就是
省去了多线程之间的切换开销，获得了更高的运行效率。所以可以用协程取代多线程。

要想创建协程，只需要包含至少一个yield表达式（通常在一个无线循环中）的函数，到达该yield表达式时，协程的执行被挂起并等待数据，
收到数据后（不会影响其他协程），协程从该yield处恢复处理，如此循环。
Python3.4中加入了asyncio模块，引入"@asyncio.coroutine"装饰器和yield from语法。 
协程能取代多线程和多进程，如读写磁盘文件、网络数据的异步问题。
多线程和多进程的模型虽然解决了异步问题，但是系统不能无上限地增加线程，系统切换线程的开销也很大。

协程优点：
1). 能实现异步；
2). 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级；
　　3). 单线程内就可以实现并发的效果，最大限度地利用cpu单核。
那怎么利用多核CPU呢？最简单的方法是"多进程+协程"，既充分利用多核，又充分发挥协程的高效率，从而获得极高的性能。

生成器和协程的区别：生成器是数据的产生者，协程是数据的消费者。 
sync：同步；
async：异步。

85、协程标库（asyncio）：基于事件循环，从asyncio模块中直接获取一个 "EventLoop" 的引用，然后把需要执行的协程扔到"EventLoop"中执行。
1）@asyncio.coroutine声明一个协程；
2）关键字yield from来等待协程的返回结果；
3）多个协程可以封装成一组Task然后并发执行，Task是Future的子类。
例： 
@asyncio.coroutine # 声明一个协程，或@coroutine，先导入asyncio
def hellopf():
print('Hello!',threading.current_thread())
yield from asyncio.sleep(2) # asyncio.sleep()是一个协程
# 示例中sleep为异步IO的代表，在实际项目中，可以使用协程异步的读写网络、读写文件、渲染界面等
# yield from语法可以让我们方便地调用另一个generator
print('World!',threading.current_thread())

task=[hellopf(),hellopf()]
loop=asyncio.get_event_loop() # 1.创建事件循环对象
loop.run_until_complete(asyncio.wait(task)) # 2.运行循环。多个任务用wait()，如果是单个任务，不需要asyncio.wait()
loop.close() # 3.关闭事件循环

# ------------------------------------------------------------------ #
Python3.5变化：
a.把@asyncio.coroutine替换为"async"（置于def之前）；
b.把yield from替换为await。

例：
async def wget(host):
print('wget %s...' %host)
connect = asyncio.open_connection(host, 80)
reader, writer = await connect
header = 'GET/HTTP/1.0\r\nHost: %s\r\n\r\n' %(host)
writer.write(header.encode('utf-8'))
await writer.drain()
while True:
line = await reader.readline()
if line == b'\r\n':
break
print('%s header > %s' % (host, line.decode('utf-8').rstrip()))
# Ignore the body, close the socket
writer.close()

loop = asyncio.get_event_loop()
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

86、正则表达式（"re"模块）。强烈建议使用Python的原生字符"r"前缀，就不用考虑转义的问题。
1）元字符：表示一些特殊的含义，一般不是指具体字符。
-------------------------------------------------------------------------------------------
. | 小数点可以匹配除了换行符\n以外的任意一个字符
-------------------------------------------------------------------------------------------
[] | 匹配字符集合中的一个字符
-------------------------------------------------------------------------------------------
[^] | 对字符集求反，也就是上面的反操作。尖号必须在方括号里的最前面
-------------------------------------------------------------------------------------------
- | 定义[]里的一个字符区间，例如[a-z]
-------------------------------------------------------------------------------------------
() | 对表达式进行分组，将圆括号内的内容当做一个整体，并获得匹配的值
-------------------------------------------------------------------------------------------
\ | 对紧跟其后的一个字符进行转义
-------------------------------------------------------------------------------------------
| | 逻辑或操作符 
-------------------------------------------------------------------------------------------

2）转义字符：具有特殊功能的字符。
-------------------------------------------------------------------------------------------
\r, \n | 匹配回车和换行符
-------------------------------------------------------------------------------------------
\t | 匹配制表符
-------------------------------------------------------------------------------------------
\\ | 匹配斜杠\
-------------------------------------------------------------------------------------------
\^ | 匹配^符号
-------------------------------------------------------------------------------------------
\$ | 匹配$符号
-------------------------------------------------------------------------------------------
\. | 匹配小数点.
-------------------------------------------------------------------------------------------

3）预定义字符：匹配预定义字符集中的任意一个字符。
-------------------------------------------------------------------------------------------
\d | 任意一个数字，0~9 中的任意一个
-------------------------------------------------------------------------------------------
\w | 任意一个字母或数字或下划线，也就是 A~Z,a~z,0~9,_ 中的任意一个
-------------------------------------------------------------------------------------------
\s | 空格、制表符、换页符等空白字符的其中任意一个
-------------------------------------------------------------------------------------------
\D | \d的反集，也就是非数字的任意一个字符，等同于[^\d]
-------------------------------------------------------------------------------------------
\W | \w的反集，也就是[^\w]
-------------------------------------------------------------------------------------------
\S | \s的反集，也就是[^\s]
-------------------------------------------------------------------------------------------

4）重复
-------------------------------------------------------------------------------------------
{n} | 表达式重复n次，比如\d{2}相当于\d\d,a{3}相当于aaa
-------------------------------------------------------------------------------------------
{m,n} | 表达式至少重复m次，最多重复n次。比如ab{1,3}可以匹配ab或abb或abbb
-------------------------------------------------------------------------------------------
{m,} | 表达式至少重复m次，比如\w\d{2,}可以匹配a12,_1111,M123等等
-------------------------------------------------------------------------------------------
? | 匹配表达式0次或者1次，相当于{0,1}，比如a[cd]?可以匹配a,ac,ad
-------------------------------------------------------------------------------------------
+ | 表达式至少出现1次，相当于{1,}，比如a+b可以匹配ab,aab,aaab等等
-------------------------------------------------------------------------------------------
* | 表达式出现任意次，相当于{0,}，比如\^*b可以匹配b,^^^b等等
-------------------------------------------------------------------------------------------

5）位置
-------------------------------------------------------------------------------------------
^ | 在字符串开始的地方匹配，符号本身不匹配任何字符
-------------------------------------------------------------------------------------------
$ | 在字符串结束的地方匹配，符号本身不匹配任何字符
-------------------------------------------------------------------------------------------
\b | 匹配一个单词边界，也就是单词和空格之间的位置，符号本身不匹配任何字符
-------------------------------------------------------------------------------------------
\B | 匹配非单词边界，即左右两边都是\w范围或者左右两边都不是\w范围时的字符缝隙
-------------------------------------------------------------------------------------------

常用方法与比较：
1）re.match(pattern, string, flags)：尝试从字符串的【开头】匹配【一个】模式。
text="JGood 666666 is a handsome boy, he is cool, clever, and so on..."
m=re.match(r"(\w+)\s", text) #结果是"JGood "
m=re.match(r"\d+", text) #结果是None，因为数字不在开头

2）re.search(pattern, string, flags)：在【整个】字符串内查找模式匹配,只到找到第一个匹配就返回。
text="JGood 666666 is a handsome boy, he is cool, clever, and so on..."
m=re.search(r"\d+", text) #结果是"666666"

3）re.findall(pattern, string, flags)：获取字符串中所有匹配的字符串。
text="JGood 666666 is a handsome boy, he is cool, clever, and so on..."
m=re.findall(r'\e',text) #结果是['e', 'e', 'e', 'e']

4）re.finditer(pattern, string, flags)：获取字符串中所有匹配的字符串，并把它们作为一个迭代器返回。

5）用正则表达式分割字符串比用固定的字符更灵活，如：
re.split(r'\s+', 'a b c') #必须是re包的split()方法。以一个或多个空格分割。

6）reg_obj=re.compile(pattern, flags)：把模板pattern编译成"正则对象"，提高效率。如reg_obj.search(string)。

7）正则分组：分组就是去已经匹配到的内容里面再筛选出需要的内容，相当于二次过滤。实现分组靠圆括号()，而获取分组的内容靠的是group()、groups()和groupdict()方法。
group()：获取匹配到的整体结果
group(1)：获取匹配到的分组1的结果
groups()：获取匹配到的分组结果元组
groupdict()：获取匹配到的分组中所有命名的字典

对于findall()、finditer()：没有group()、groups()、groupdict()方法。

正则匹配默认是贪婪匹配，也就是匹配尽可能多的字符。加问号"?"可以去除贪婪匹配（匹配单个）。如：re.match(r'^(\d+?)(0*)$', '102300').groups()。

87、一些常用的内置模块。
（1）datetime：日期时间模块。
Python中时间日期格式化符号：
%y 两位数的年份（00-99）
※ %Y 四位数的年份（000-9999）
※ %m 月（01-12）
※ %d 天（0-31）
※ %H 24小时制（0-23）
%I 12小时制（01-12） 
※ %M 分（00-59）
※ %S 秒（00-59）
#---常用格式：日期只有'年'符号大写，时间符号全大写
%a 本地简化星期名称
%A 本地完整星期名称
%b 本地简化的月份名称
%B 本地完整的月份名称
%c 本地相应的日期表示和时间表示
%j 年内的一天（001-366）
%p 本地A.M.或P.M.的等价符
%U 一年中的星期数（00-53）星期天为星期的开始
%w 星期（0-6），星期天为星期的开始
%W 一年中的星期数（00-53）星期一为星期的开始
%x 本地相应的日期表示
%X 本地相应的时间表示
%Z 当前时区的名称
%% '%'号本身

Ⅰ.datetime模块中的datetime类：这是一个日期和时间组合的类，由年、月、日、时、分、秒、微秒组成。
from datetime import datetime
(a) datetime.today() # 获取当前本地日期时间
datetime.now([tz]) # 获取当前日期时间，如果提供了参数tz，则获取tz参数所指时区的本地时间
datetime(2017,5,20,13,14,0) # 指定日期时间，返回datetime对象
dtobj.year、dtobj.month、dtobj.day # 年、月、日
dtobj.hour、dtobj.minute、dtobj.second # 时、分、秒
dtobj.date() # 获取datetime对象对应的date对象
dtobj.time() # 获取datetime对象对应的time对象
combine(date, time) # 把指定的date和time对象整合成一个datetime对象

(b) 时间戳（timestamp）一旦确定，其UTC（时区）时间就确定了。
如果要存储datetime，最佳方法是将其转换为时间戳（timestamp）再存储，因为时间戳与时区完全无关。时间戳是一个浮点数。
datetime.timestamp('datetime对象') # 日期时间-->时间戳，若是字符串需要把字符串转成datetime对象
datetime.fromtimestamp('时间戳') # 时间戳-->日期时间

import time
now_timestamp = time.time() # 获取当前时间戳

(c) dtobj.isoformat([sep]) # 返回一个"%Y-%m-%dT%H:%M:%S"字符串，sep是"日期 时间"的分隔符，默认是"T"
datetime.strptime('2017-5-21','%Y-%m-%d') # 字符串-->日期时间 （常用，注意参数的分隔符一致即可） 
datetime.strftime(now,'%Y-%m-%d %H:%M:%S') # 日期时间-->字符串 

(d) 时间的加减，timedelta类属于datetime模块。
now + timedelta(hours=1)

(e) 时区（UTC）：
utc_curr = datetime.utcnow() # 返回当前UTC日期时间的datetime对象
bj_utc = datetime.astimezone(utc_curr,timezone(timedelta(hours=8))) # astimezone()，转换成指定时区 

Ⅱ.datetime模块中的date类：这是一个日期类，由年、月、日组成。
from datetime import date
date.max # date对象所能表示的最大日期，是一个date对象
date.min # date对象所能表示的最小日期，是一个date对象
date.today() # 返回当前本地日期，是一个date对象
date.fromtimestamp() # 根据给定的时间戳，返回一个date对象
date.weekday() # 参数必须是一个date类型的对象，返回该日期是一周中的第几天，星期一，返回0
date.isoweekday() # 参数必须是一个date类型的对象，返回该日期是一周中的第几天，星期一，返回1
date.isocalendar() # 参数必须是一个date类型的对象，返回date类型对象中的year（年），week（周），weekday（一周中的第几天）
date_obj.strftime(fmt) # 返回自定义格式的日期字符串
date_obj.isoformat() # 返回一个"%Y-%m-%d"日期字符串
date_obj.replace(year, month, day) # 拷贝一个新的日期对象，用指定的年，月，日参数替换原有对象中的属性
date_obj.year/month/day # 返回日期对象的年/月/日
date_obj < date_obj # 比较日期大小，返回布尔

Ⅲ.datetime模块中的time类：这是一个时间类，由时、分、秒以及微秒组成。
from datetime import time
time.min、time.max # time类所能表示的最小、最大时间
time_obj = time(23,59,59) # time对象
time_obj.hour/minute/second # 返回时、分、秒
time_obj.isoformat() # 返回"%H:%M:%S"格式的字符串
time_obj.strftime(fmt) # 返回自定义格式的时间字符串
time_obj.replace(year, month, day) # 拷贝一个新的时间对象，用指定的时、分、秒参数替换原有对象中的属性

（2）subprocess：创建子进程。可以在Python的代码里执行操作系统级别的命令。使用run()方法调用子进程，执行操作系统命令。
run()方法返回的是一个CompletedProcess类型对象，不能直接获取我们通常想要的结果。要获取命令执行的结果或者信息，
在调用run()方法的时候，请指定stdout=subprocess.PIPE，且建议shell=True。
例：s = subprocess.run('ipconfig', shell=True, stdout=subprocess.PIPE)
获取结果：s.stdout.decode('gbk')

（3）random：生成伪随机数（实际上计算机随机函数所产生的“随机数”并不随机）。
random.randint(a, b)：返回一个a <= N <= b的随机整数N。
random.uniform(a, b)：返回一个介于a和b之间的浮点数。
random.sample(population, k)：从population样本或集合中随机抽取K个元素（不重复）形成新的序列。常用于不重复的随机抽样、打乱序列。
random.choice(seq)：从非空序列seq中随机选取一个元素。如果seq为空则弹出 IndexError异常。

（4）base64模块：对二进制数据编码，避免显示乱码（用记事本打开exe、jpg、pdf这些文件时，我们都会看到一大堆乱码）；
base64是把3字节一组变为4字节一组，所以，Base64编码的长度永远是4的倍数；
base64是一种任意二进制到文本字符串的编码方法，常用于在URL、Cookie、网页中传输少量二进制数据。
base64.b64encode(b'') #编码
base64.b64decode(b'') #解码
base64.urlsafe_b64encode(b'') #对于URL二进制编码时，把字符+和/分别变成-和_
base64.urlsafe_b64decode(b'')

（5）hashlib：哈希（摘要）算法模块。把任意长度的输入，通过某种hash算法（单向算法），变换成固定长度的输出，该输出就是散列，也称摘要。
要注意，摘要算法不是加密算法，不能用于加密数据（因为无法通过摘要反推明文），只能用于防止数据被篡改，
但是它的单向计算特性决定了可以在不存储明文口令的情况下验证用户口令。
那么哈希算法有什么用呢？最常用的就是密码加密！密码加密不像数据加密，通常不需要反向解析出明文。
1、hashlib.md5()：MD5是最常见的哈希算法，速度很快，结果是一个32位的十六进制字符串表示。如： 
import hashlib
md5 = hashlib.md5('how to use md5 in python hashlib?'.encode()) # 返回hash对象
print(md5.hexdigest()) # digest()获取bytes类型的摘要，hexdigest()获取十六进制str类型的摘要

2、hashlib.sha1()："sha1"中是数字"1"，不是字母"l"。与md5()用法一致，结果是一个40位的十六进制字符串。

3、hash_obj.update(bytesarg)：更新hash对象，连续调用该方法相当于连续追加更新摘要。

（6）shutil：主要用于拷贝、移动、删除、压缩、解压的模块。
shutil.copyfile(src, dst)：拷贝文件。
shutil.copy(src,dst)：拷贝文件，包括权限。
shutil.copy2(src, dst)：拷贝文件，包括权限和状态。
shutil.copytree(src, dst, symlinks=False, ignore=None, copy_function=copy2)：递归地复制目录及其子目录的文件和状态信息。
参数：symlinks 指定是否复制软链接，小心陷入死循环；
ignore 指定不参与复制的文件，其值应该是一个ignore_patterns()方法；
copy_function 指定复制的模式。
shutil.rmtree(path[, ignore_errors[, onerror]])：归地删除目录及子目录内的文件。
shutil.move(src, dst)：递归地移动文件。

shutil.make_archive(base_name, format[, root_dir[, base_dir[, verbose[, dry_run[, owner[, group[, logger]]]]]]])：创建压缩文件。
参数：base_name 压缩后的文件名。如果不指定绝对路径，则压缩文件保存在当前目录下。
format 压缩格式，可以是“zip”, “tar”, “bztar” ，“gztar”，“xztar”中的一种。
root_dir 设置压缩包里的根目录，一般使用默认值。
base_dir 要进行压缩的源文件或目录。
owner 用户，默认当前用户。
group 组，默认当前组。
logger 用于记录日志，通常是logging.Logger对象。
shutil.unpack_archive(filename[, extract_dir[, format]])：解压。
参数：filename 是压缩文档的完整路径
extract_dir 是解压缩路径，默认为当前目录。
format 是压缩格式。默认使用文件后缀名代码的压缩格式。

（7）timeit：计时器，测试代码运行时间。
timeit(stmt='pass', setup='pass', timer=<defaulttimer>, number=1000000)
参数：stmt 要执行的那段代码；
setup 执行代码的准备工作，不计入时间，一般是import之类的；
timer 这个在win32下是time.clock()，linux下是time.time()，默认的，不用管；
number要执行stmt多少遍，记得修改默认值！

（8）collections：集合模块。 
1、namedtuple(tbname,field)：命名的元组。将"tbname"视为表名，"field"视为字段名。如：
tb = namedtuple('score','chinese,math')
tr = tb('99','100') #赋值
print(tr.chinese, tr.math) #取值

2、deque(iterable)：双队列。为了高效实现插入和删除操作的双向列表list，适合用于队列。因为list是线性存储，数据量大的时候，插入和删除效率很低。
deque除了实现list的append()和pop()外，还支持appendleft()和popleft()。rotate(i)，从倒数第i个位置往前放。

3、defaultdict(default_func)：使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict。如：
def_dic = defaultdict(lambda:'不存在该值')
def_dic['k1'] = 'a1'

4、OrderedDict类：使用dict时，Key是无序的，如果要保持Key的顺序，可以用OrderedDict，如：
orddic=OrderedDict({'1':'a','2':'b','3':'c'})

5、Counter类：是一个简单的计数器，例如，统计字符出现的个数。
c=Counter()
for t in 'wangchunwang':
c[t]=c[t]+1
print(c.most_common())

6、heapq：堆。会自动排序。
heap=[]
heapq.heappush(heap,(2,'two'))
heapq.heappush(heap,(1,'one'))

（9）itertools模块：操作可迭代对象，返回值不是list，而是Iterator，只能用"for"循环迭代的时候才真正计算。
1、count类，无限计数。
2、cycle类，无限循环每个元素。
3、repeat类，重复整个参数。
4、chain类，将迭代对象串联。
5、groupby类，把迭代器中相邻的重复元素挑出来放在一起。

（10）contextlib模块：上下文。
@contextmanager，上下文装饰器。

（11）关于XML。
操作XML常用的两种方法：DOM（基于对象）和SAX（基于事件）。
DOM方法会把整个XML读入内存，解析为树，因此占用内存大，解析慢，优点是可以任意遍历树的节点。
SAX方法是流模式，边读边解析，占用内存小，解析快，缺点是我们需要自己处理事件（继承sax.ContentHandler类，重写方法）。
正常情况下，优先考虑SAX，因为DOM实在太占内存。

ElementTree模块解析XML（XML元素树，解析和写入节点）： 
from xml.etree import ElementTree
tree=ElementTree.parse('sax_test.xml') #获得元素树解析器 
root=tree.getroot() #获取根节点
print(root)
stations=set({})
for ele in tree.getiterator('station_name'): #迭代任意节点
stations.add(ele.text) #获取元素文本；attrib获取属性

（12）关于HTMLParser。
HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。Python提供了HTMLParser来非常方便地解析HTML。

（13）URL：统一资源定位（如HTML页面，图片等）。它的组成可分成6部分，格式为：
protocol://hostname[:port]/path/[;param][?query][#frag]
说明：
-----------------------------------------------------------------------------------------------------------------------------
| protocol | 必须，协议部分，如http，ftp
-----------------------------------------------------------------------------------------------------------------------------
| hostname:port | 必须，主机（ip或域名）与端口部分；ftp可能用到"user:passwd@ip:port"
-----------------------------------------------------------------------------------------------------------------------------
| path | 必须，虚拟目录
-----------------------------------------------------------------------------------------------------------------------------
| param | 可选，参数部分，如果向服务器传入参数，极少用
-----------------------------------------------------------------------------------------------------------------------------
| query | 可选，查询部分，如果需要从服务器那里查询内容，很常用
-----------------------------------------------------------------------------------------------------------------------------
| frag | 可选，锚部分，网页中可能会分为不同的片段，如果访问网页后直接到达指定位置，可以在这部分设置，较常用
-----------------------------------------------------------------------------------------------------------------------------
以上6个部分对应urlparse解析结果(scheme, netloc, path, params, query, fragment)

urlparse模块中核心函数：
urlparse(urlstr)： 将urlstr解析成6个部分。
urlunparse(urltup)： 将urltup组成完整的URL。
urljoin(baseurl,newurl)： 将baseurl根目录和newurl组成新的完整的URL。

urllib模块中的核心函数：
urlopen(urlstr)： 打开URL。
urlretrieve(urlstr,filename)： 下载URL文件到filename文件中。
quote(urldata,safe='/')： 将urldata中特殊字符进行编码成"%xx"，safe中的字符不编码。
unquote(urldata)： 将urldata中编过码的字符解码。
urlencode(dict)： 将'dict'编译成URL中的"query部分"，其中空格编译成"+"，其余无法识别的字符编译成"%xx"。 

>>> request模块：from urllib import request

1、GET
请求指定的网址：req = request.Request(url='http://www.douban.com/', method='GET')
with request.urlopen(url=req) as rep:
print(rep.status,rep.reason) # 状态，描述
print(rep.getheaders())

模拟浏览器，添加HHTP头：req = request.Request(url='http://www.douban.com/', method='GET', headers={'User-Agent': 'Mozilla/6.0'})
with request.urlopen(url=req) as rep:
print(rep.getheaders())
print(rep.read().decode())

2、POST
如果要以POST发送一个请求，只需要把urlopen()中参数data以bytes形式传入。
email=input('微博账号：')
passwd=input('密码：')
login_info=urllib.parse.urlencode({
'username':email,
'password':passwd,
'entry': 'mweibo',
'client_id': '',
'savestate': '1',
'ec': '',
'pagerefer': 'https://passport.weibo.cn/signin/welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F'
})
req=request.Request(url='https://passport.weibo.cn/sso/login', data=login_info.encode(), method='POST')
req.add_header('Origin', 'https://passport.weibo.cn')
req.add_header('User-Agent', 'Mozilla/6.0')
req.add_header('Referer', 'https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F')
with request.urlopen(url=req) as rep:
print(rep.status,rep.read())

3、简单的爬虫（抓取图片）
# 获取页面
def getHTMLContent(url):
req=request.Request(url=url,method='GET')
html=request.urlopen(req,timeout=30)
return html.read()

# 解析出图片的URL
def getImgUrl(html):
reg_patt=re.compile(pattern=r'<img.+?src="(.+?\.jpg)"\s+width')
img_urls=reg_patt.findall(string=html.decode())
return img_urls

# 批量下载图片并保存
def downMultImg(img_urls,n=10,path='Images/'):
count=1
for url in img_urls:
request.urlretrieve(url=url, filename='{0}{1}{2}'.format(path,count,'.jpg'))
count=count+1
if count==n+1:
print('共下载%d张图片' %(n))
return
# 封装
def download(url):
html=getHTMLContent(url)
img_urls=getImgUrl(html)
downMultImg(img_urls,n=20)

if __name__ == '__main__':
url='http://tieba.baidu.com/p/2256306796'
download(url)

88、第三方库。基本上，所有的第三方模块都会在PyPI-the Python Package Index上注册，只要找到对应的模块名字，即可用"pip install modulename"或"easy_install modulename"安装。
（1）pillow，图像处理库。
在命令行cmd直接输入：pip install pillow 进行安装。例：制作验证码：
from PIL import Image #导入pillow
def rand_draw_color():
return (random.randint(0, 200), random.randint(50, 200), random.randint(20, 200)) 
def font_color():
return (random.randint(10, 100), random.randint(10, 100), random.randint(10, 100))
def rand_char():
return chr(random.randint(65,90))
#图像的尺寸
width=60*4
height=60
#创建图像
img=Image.new('RGB',(width,height),color=(255,255,255))
#创建画布（用于涂鸦）
draw=ImageDraw.Draw(img)
#填充画布颜色,按像素填充
for draw_color_x in range(width):
for draw_color_y in range(height):
draw.point((draw_color_x,draw_color_y),fill=rand_draw_color()) # 当调用函数带括号时，表获取函数返回值，即函数有"return"语句
# 当调用函数不带括号时，表仅仅引用函数，即函数无"return"语句
#输出4个随机字符
for char_count in range(4):
draw.text((60*char_count+15,10),rand_char(),fill=font_color(),font=ImageFont.truetype(font='Font/msyh.ttf',size=38))
#模糊处理
#img=img.filter(ImageFilter.GaussianBlur) #这里必须是赋值处理
img.save('Images/vali_code.jpg','JPEG')

（2）virtualenv为应用提供了隔离的Python运行环境，解决了不同应用间多版本的冲突问题。

89、图形界面（GUI），调用内置的tkinter。例：
import tkinter
from tkinter import messagebox

topFrame=tkinter.Tk()
topFrame.title('提示')

def btComm(ev=None):
messagebox.showinfo('网址','www.wcw.com')

butt=tkinter.Button(master=topFrame,text='点击一下',font=('Helvetica',12,'bold'),command=btComm)
butt.pack() # 装箱。Packer布局

topFrame.mainloop() # 必须调用循环方法

90、数据库编程。
关系型：闭源收费数据库：Oracle、DB2； 开源免费数据库：MySQL、SQLite（嵌入式数据库，轻量，Python内置）
1、SQLite编程
#连接数据库文件，若无则新建
conn = sqlite3.connect('test.db')
#创建游标，实际操作者
cursor = conn.cursor()
cursor.execute(sql) #执行query
cursor.close() #关闭游标
conn.commit() #执行insert等操作后要调用commit()提交事务
conn.close() #关闭连接

2、MySQL编程--使用pymysql模块
cmd安装驱动：pip install pymysql， 例：
import pymysql
# 连接数据库，注意编码。在MySQL客户端命令行如有乱码，执行语句"set names gbk;"
coon = pymysql.connect(user='root', password='0000', host='127.0.0.1', port=3306, database='test', charset='utf8') 
cursor = coon.cursor() # 创建游标

user_id = 5
name = 'WcwNina'
age = 22
sex = '女'
department = '营销部'
salary = 9000
# 执行SQL语句，返回影响的行数。变量放入列表里，防止SQL注入！
sql = 'insert into user(user_id,name,age,sex,department,salary) values(%s,%s,%s,%s,%s,%s)'
effect_row = cursor.execute(sql, (user_id,name,age,sex,department,salary))
effect_row2 = cursor.execute('select salary from user')
coon.commit() # 提交
cursor.close()
coon.close()
print(cursor.fetchmany(2))
cursor.scroll(0) # 游标下移一位

3、MySQL框架：SQLAlchemy驱动模块，把关系数据库的表结构映射到class对象上（即"ORM"技术：对象关系映射）。
常用的SQL语句可能会导致安全问题（因为是字符串的语句，会存在SQL注入）。SQLAlchemy兼容多种关系型数据库。
安装SQLAlchemy：pip install sqlalchemy。例： 
from sqlalchemy import *
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

### 创建引擎，指定字符集。这里连接库为test，echo参数为True时，会显示每条执行的SQL语句，生产环境下可关闭
engine = sqlalchemy.create_engine('mysql+pymysql://root:0000@localhost:3306/test?charset=utf8', echo=False) 

### 声明ORM基类
Base = declarative_base() 
### 建模型 （表结构映射）
class Department(Base):
__tablename__ = 'department' # 表名

RowID = Column(Integer, primary_key=True, autoincrement=True) # 自增主键字段
Dep_Code = Column(String(3), nullable=False, unique=True, index=True)
Dep_Name = Column(String(20), nullable=True, default='--')
FK_id = Column(Integer, ForeignKey('table.field')) # 外键

__table_args__ = (
UniqueConstraint('RowID', 'Dep_Code'), # 联合唯一约束
Index('Dep_Code', 'Dep_Name'), # 联合索引
)

### 创建表结构 （后台会自动建立一张表）
Base.metadata.create_all(engine)

### 建立会话，类似游标
Session = sessionmaker(bind=engine)
session = Session()

## 插入记录，使用关系映射类
dept_obj = Department(Dep_Code='004',Dep_Name='人事部')
session.add(dept_obj)
session.commit()

## 查询记录，默认查出所有结果
data = session.query(Department).all()[:2] # 结果分片 
data = session.query(Department).get(Department.RowID=1) # 只能返回一条结果，否则会异常 
data = session.query(Department).filter(Department.RowID>1).offset(2).limit(1).all() # 偏移2个位置，返回1条结果。limit()和offset)()常用于分页
data = session.query(Department.Dep_Code, Department.Dep_Name).filter(Department.RowID<3).order_by(Department.RowID.desc()).all() # 返回指定字段，倒序结果 
data = session.query(Department).filter(text("RowID<:rid and Dep_Name=:name")).params(rid=3, name='WcwNina').all() # 占位符设置变量参数 
data = session.query(Department).filter(Department.Dep_Code=='003').filter(Department.Dep_Name=='软件部').all() # 多条件查询，类似"and"。注意filter参数是bool型！ 
data = session.query(Department).filter(Department.RowID.between(1,3), Department.Dep_Name.like('%部')).all() # "between"限定字段范围，"like"模糊查询 
data = session.query(Department).filter(Department.RowID.in_([1,2,3])).all() # "in_"范围查询 
data = session.query(Department).filter(~Department.RowID.in_([1,2,3])).all() # "~"排除范围，类似"!=" 
data = session.query(Department).filter(and_(Department.RowID<3, Department.Dep_Code!='003')).all() # "and_"，and查询 
data = session.query(Department).filter(or_(Department.RowID<3, Department.Dep_Code=='003')).all() # "or_"，or查询 
data = session.query(Users, Favor).filter(Users.id == Favor.nid).all() # 联表（内联）查询 
data = session.query(Users).join(Favor, [on '外键条件']).filter(Users.id>1).all() # "join"外键联表查询，默认内联查询
data = session.query(Users).outerjoin(Favor, [on '外键条件']).filter(Users.id>1).all() # "outerjoin"外键联表查询，外联查询

## 更新记录，查出记录后更新
data = session.query(Department).filter(Department.Dep_Code=='003').first().update({Dep_Name: '软件部'}) # first()返回第一条结果
session.commit()

## 统计
counts = session.query(Department).filter(Department.Dep_Name.like('%部')).count() # count()函数

## 分组
from sqlalchemy import func # func模块提供了一些常用函数
session.query(func.count(Department.Dep_Name),func.max(RowID), Department.Dep_Name).group_by(Department.Dep_Name).all()

## 回滚
session.rollback()
data = session.query(Department).filter(Department.Dep_Code.in_(['004']))

91、网络模型结构可由7层（国际标准）简化为4层（民间流行）：数据链路层（网卡MAC）、网络层（IP）、传输层（协议）、应用层（数据）。

网络编程（C/S架构）：主要指网络通信，实现计算机之间的对话和文件传输。
IP地址实际上是一个32位整数（称为IPv4），以字符串表示的IP地址如192.168.0.1实际上是把32位整数按8位分组后的数字表示，目的是便于阅读。
IPv6地址实际上是一个128位整数，它是目前使用的IPv4的升级版，以字符串表示类似于2001:0db8:85a3:0042:1000:8a2e:0370:7334。
TCP协议则是建立在IP协议之上的。TCP协议负责在两台计算机之间建立可靠连接，保证数据包按顺序到达。
端口有什么作用？在两台计算机通信时，只发IP地址是不够的，因为同一台计算机上跑着多个网络程序。

Socket又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。

（1）TCP协议编程（面向连接、序列化、不重复）。创建TCP连接时，主动发起连接的叫客户端，被动响应连接的叫服务器。
80端口是Web服务的标准端口。SMTP服务是25端口，FTP服务是21端口，等等。端口号小于1024的是Internet标准服务的端口，端口号大于1024的，可以任意使用。
备注：发送和接收的数据是字节，需要编码encode()和解码decode()。
accept()和recv()方法都是阻塞的，所谓的阻塞，指的是程序会暂停在那，一直等到有数据过来。
重点在于数据的接收和发送！

socket编程思路：
1）服务端
1.创建套接字，绑定套接字到本地IP和端口：socket.socket(socket.AF_INET,socket.SOCK_STREAM) --> s.bind()
2.开始监听连接：s.listen()
3.进入永久循环，不断接受客户端的连接请求：s.accept()
4.在永久循环里，接收传来的数据，或者发送数据给对方：s.recv() , s.sendall()
5.传输完毕后，关闭套接字：s.close() （一般不关闭）

2）客户端
1.创建套接字，连接服务器地址：socket.socket(socket.AF_INET,socket.SOCK_STREAM) --> s.connect()
2.连接后发送数据和接收数据：s.sendall(), s.recv()
3.传输完毕后，关闭套接字：s.close()

例1：客户端访问网络：必须知道服务器的IP地址和端口号。
import socket
# 建议网络连接
sock=socket()
sock.connect(('www.sina.com.cn',80))
sock.send(b'GET/HTTP/1.1\r\nHost:www.sina.com.cn\r\nConnection:close\r\n\r\n') # 注意HTTP协议格式
# 接收数据，使用永循环
buffer=[]
while True:
data=sock.recv(1024)
if data:
buffer.append(data)
else:
break
data=b''.join(buffer)
sock.close()
# 保存内容
header, html = data.split(b'\r\n\r\n', 1)
print(header.decode('utf-8'))
with open('sina.html', 'wb') as f:
f.write(html)

例2：服务器：服务器进程首先要绑定一个端口并监听来自其他客户端的连接，需要一直开启。 
#####-服务器端-##### 
#----1.建立套接字，绑定IP端口----
so_server=socket(type=SOCK_STREAM) # type=SOCK_STREAM，表示"流式"套接字，可靠连接的TCP协议 
so_server.bind(('127.0.0.1',9999)) 
so_server.listen(5) # 监听端口，入参数指定等待连接的最大数量 
print('等待连接...')

#----3.使用永循环，收发数据。这是重点部分----
def tcp_link(so_link,addr_link):
print('正在连接',addr_link)
so_link.send('欢迎!'.encode()) # 向客户端发送send()
while True:
data=so_link.recv(1024) # 接收客户端数据recv()
if not data or data.decode()=='exit':
break
so_link.send('你好,%s'.encode() %data)
so_link.close()
print('关闭连接', addr_link)

#----2.服务器通过永久循环来接受客户端的连接----
while True:
so, addr=so_server.accept() # 接受客户端连接，返回socket对象和客户端地址
thr=Thread(target=tcp_link, args=(so, addr)) # socket模块，默认是单线程，同时只能处理一个连接请求，如要实现多用户服务，需要使用多线程。
thr.start()
thr.join() 

#####-客户端-##### 
from socket import socket
so_client=socket(type=SOCK_STREAM)
so_client.connect(('127.0.0.1',9999)) # 连接服务器
print(so_client.recv(1024).decode()) # 接收服务器"欢迎"数据。如果数据大，则采用缓存append
for data in ['Michael', 'Tracy', 'Sarah']: # 向服务器发数据，并接收返回数据
so_client.send(data.encode())
print(so_client.recv(1024).decode())
so_client.send('exit'.encode())
so_client.close()

（2）UDP协议编程（面向无连接、无序、可重复）。优点是和TCP比，速度快、开销小。
由于UDP没有握手的过程，因此没有connect()、listen()、accept()方法。
##### 服务器端 #####
so=socket(type=SOCK_DGRAM) # type=SOCK_DGRAM，表示"数据报式"套接字，不可靠无连接的UDP协议
so.bind(('127.0.0.1',9999))
def udp_recv():
while True:
data,addr=so.recvfrom(1024)
print('请求客户端：',addr)
so.sendto('你好,%s'.encode() %data,addr)
thr=Thread(target=udp_recv)
thr.start()
thr.join()

##### 客户端 #####
so=socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
for data in ['Michael', 'Tracy', 'Sarah']:
so.sendto(data.encode(),('127.0.0.1',9999))
print((so.recv(1024)).decode())
so.close() 

（3）高级网络编程使用socketserver模块，更方便，更强大。
使用socketserver要点：
1.创建一个继承自"socketserver.BaseRequestHandler"的类；
2.这个类中必须重写一个名字为"handle"的方法，不能是别的名字，在此进行业务逻辑处理！
3.将这个新建的类，连同服务器的IP和端口作为参数传递给"ThreadingTCPServer()"实例化；
4.启动"ThreadingTCPServerObj.serve_forever()"。

92、发邮件协议：SMTP
收邮件协议：POP3、IMAP 

例（SMTP）：
mail_host = "mail.dhcc.com.cn" # 设置SMTP服务器
from_user = "wangchunwang@dhcc.com.cn" # 发件用户名
from_pass = "DHCCwcw@070134" # 发件密码（如果是QQ，可能使用授权码）

to_user = '575504815@qq.com' # 收件用户名

message = MIMEText('Python 邮件发送测试...', 'plain', 'utf-8') # plain表示发送文本
message['From'] = Header(("**旺<%s>" %from_user), 'utf-8') # 发件人显示名称
message['To'] = Header(("收件人<%s>" %to_user), 'utf-8') # 收件人显示名称

subject = 'Python SMTP 邮件测试' # 主题
message['Subject'] = Header(subject, 'utf-8')

try:
smtpObj = smtplib.SMTP_SSL(mail_host,465) # 实例SMTP，建议使用SMTP_SSL ！！
# smtpObj.set_debuglevel(1)
smtpObj.login(from_user, from_pass) # 登录发件用户
smtpObj.sendmail(from_user, to_user, message.as_string()) # 开始发送
print("邮件发送成功")
smtpObj.quit()
except smtplib.SMTPException as e:
print("Error: 无法发送邮件->",e.args)

93、Web开发（B/S架构）：即网页、网站的开发。
1）WEB服务器（HTTP服务器）：与客户端打交道，处理前端静态内容(session、request、response、HTML、js、CSS等)，如Apache、Nginx、IIS。只有Apache是纯web服务器！
2）应用服务器：为应用程序处理后台业务逻辑，客户端应用程序可以调用的方法，生成动态内容，如 Weblogic（Java）、WebSphere（IBM）。
然而，现在大多数应用服务器也包含了Web服务器的功能，如Tomcat、IIS、WSGI。

1、HTTP请求方法：GET与POST，GET仅请求资源，POST会附带用户数据（区别于HTML表单的get、post方法）。一个HTTP请求只处理一个资源。
响应代码：200表示成功，3xx表示重定向，4xx表示客户端发送的请求有错误，5xx表示服务器端处理时发生了错误。
web服务器工作：接受HTTP请求、解析HTTP请求、发送HTTP响应。 
HTTP GET请求的格式，每个Header一行一个，换行符是" \r\n "：
GET /path HTTP/1.1
Header1: Value1
Header2: Value2
Header3: Value3

HTTP POST请求的格式，包含body通过" \r\n\r\n "来分隔：
POST /path HTTP/1.1
Header1: Value1
Header2: Value2
Header3: Value3
body data goes here...

2、Web过程：
a.浏览器发送一个HTTP请求；
b.服务器收到请求，生成一个HTML文档；
c.服务器把HTML文档作为HTTP响应的Body发送给浏览器；
d.浏览器收到HTTP响应，从HTTP Body取出HTML文档并显示。

3、HTML定义了页面的内容，CSS来控制页面元素的样式，而JavaScript负责页面的交互逻辑。

4、CGI：通用网关接口；
WSGI：Web服务器网关接口。例：
def app(request,response): # web app用来处理请求和响应。request处理请求信息；response处理响应信息。
response('200 OK',[('Content-Type','text/html')])
body='<h1>Hello,world!%s</h1>' %(request['PATH_INFO'][1:])
return [body.encode()] #返回列表类型

httpd=make_server('localhost',2017,app)
httpd.serve_forever()

94、web服务框架：很多框架都自带了WSGI，比如 Flask，webpy，Django、CherryPy等。
例：
app=Flask(__name__)
#获取首页
@app.route('/',methods=['GET'])
def home():
return '<h1>HOME</h1>'

95、MVC模式：M（模型） —— 业务数据（或业务逻辑），这是应用程序的主体；
V（视图） —— 用户交互界面（模板）；
C（控制器）—— 接收来自界面的请求，处理用户界面数据显示。

96、动态执行代码。（1）eval(expression, globals=None, locals=None)：只能执行单一表达式，globals和locals存放变量，通常为字典，如eval('x**y+99',{'x':2,'y':3})；
（2）exec(object, globals=None, locals=None)：可以执行代码块（函数或模块），返回值为None。
exec()不能存取任何数据，解决办法：将引用对象放入字典中。例：
import math
code='''
def area_sphere(r):
return '{0:e}'.format(4*math.pi*r**2)
'''
context={}
context['math']=math # 将引用对象模块放入字典
exec(code,context) # exec执行对象也能放入字典
area=context['area_sphere'] # 从字典中提取执行结果
print(area(5))

97、上下文管理器：在正常处理系统资源（文件、线程锁和连接）之前需要先执行一些准备动作，及其之后需要继续执行一些收尾动作。 
例如：当需要操作文件或数据库的时候，首先需要获取文件句柄或者数据库连接对象，当执行完相应的操作后，需要执行释放文件句柄或者关闭数据库连接的动作。
又如，当多线程程序需要访问临界资源的时候，线程首先需要获取互斥锁，当执行完成并准备退出临界区的时候，需要释放互斥锁。 
上下文管理器需要实现__enter__()和__exit__()特殊方法，通过with...as...语句来使用上下文管理器。
a、__enter__(self)：进入上下文管理器时调用此方法，其返回值将被放入with-as语句中as说明符指定的变量中。
b、__exit__(self, exc_type, exc_val, exc_tb)：离开上下文管理器调用此方法。如果有异常出现，exc_type、exc_val、exc_tb分别为异常的类型、值和追踪信息。
此方法返回值为True或者False，分别指被引发的异常是否得到了处理，如果返回False，引发的异常会被传递出上下文。
例：
class OpenFile(object):
def __init__(self,filename,mode):
self.filename=filename
self.mode=mode
def __enter__(self):
self.f=open(self.filename,self.mode)
return self.f #作为as说明符指定的变量的值
def __exit__(self,type,value,tb):
self.f.close()
return False #异常会被传递出上下文
#######
with OpenFile('my_file.txt','w') as f:
f.write('Hello，')
f.write('World！')

98、描述符（Descriptor）：首先它是一个类，且实现了__get__(self,instance,owner)，__set__(self,instance,value)，__delete__(self,instance)
中一个或多个魔法方法，描述符使用时作为另一个类的类属性（一定是类属性!!!）。其中，instance是这个描述符的属性实例，owner是描述符所在的类。
描述符一般用于较底层的代码，最常见的描述符有 property、staticmethod、classsmethod（用描述符实现的装饰器），用来控制属性访问。例：
class Desc(object):
def __init__(self):
self.dic={}

def __set__(self, instance, value):
print('Desc set:',instance,value)
if value<0 or value >100:
raise ValueError('值必须在0~100之间！')
self.dic[instance]=value

def __get__(self, instance, owner):
print('Desc get:', instance, owner)
return self.dic[instance]

####
class Score(object):
descScore=Desc() # 描述符使用时作为另一个类的类属性，一定是类属性！！！不是实例属性！！！
def __init__(self,score):
self.descScore=score
###
s=Score(100)
print(s.descScore)

99、抽象基类（ABC）：类似于Java的接口interface，抽象基类定义了一些抽象属性和抽象方法，抽象类并不能直接实例化。目的：共性共用。
要定义抽象类，需要将"元类Meta"设置为ABCMeta，这一步是必须的，因为抽象类的实现离不开元类。
在抽象类中，@abstractmethod和@abstractproperty装饰的方法/特性其子类必须实现，且可以去改变其参数和返回值。
抽象基类支持对已经存在的类进行注册，使其属于该基类，使用register()进行注册，如向抽象基类A注册类B：A.register(B) 。


>> 文章持续更新中...（转载请注明出处）