流畅的python（一）序列构成的数组
1、内置序列类型概览
按照存放类型分类
- 不同类型的数据：
list, tuple, collections.deque - 一种类型的数据：
str, bytes, bytearray, memoryview和arrray.array
按照是否修改分类
- 可变序列：
list， bytearray， array.array, collections.deque和memoryview - 不可变序列：
tuple, str和bytes
2、列表推导和生成器表达式
[i for i in range(10)] 是构建列表的快捷方式
生成器表达式
生成器表达式背后遵守迭代器协议，可以逐个地产出元素，显然节省内存，生成器表达式的语法跟列表推导差不多，只不过把方括号换成圆括号。
(i for i in range(10))
symbols = '$#@%^&*' a = tuple(ord(s) for s in symbols if ord(s) > 35) print(a) import array a = array.array('I',(ord(s) for s in symbols)) print(a) colors = ['b','w'] sizes = ['S','M','L'] for i in ('%s,%s'%(color,size) for color in colors for size in sizes): print(i)
3、元组不仅仅是不可变的列表
用元组作为字段
元组拆包
元组其实是对数据的记录：元组中的元素存放了数据和位置
可以当成记录加以利用
拆包
a,b = b,a
- 平行赋值
>>> x = (6, 9)
>>> a, b = x
>>> a
6
>>> b
9- 用
*拆开作为函数参数
>>> t = (20, 8)
>>> divmod(*t)
(2, 4)- 用
*处理剩下的元素，可以出现在赋值表达式任意位置
>>> a, b, *rest = range(5)
""" 记录 拆包 """ lax_coordinates = (33.9425,-118.408056) city,year,pop,chg,area = ('Tokyo',2003,32450,0.66,8014) traveler_ids = [('USA','2345633'),('CHINA','ER5556'),('BRA','782829')] for passport in sorted(traveler_ids): print('%s/%s'%passport) for country,_ in traveler_ids: print(country) a = (20,8) c,d = divmod(*a) print(c,d) import os a = os.path.split("/home/www/ddd/ccc.pub") print(a) #*用来处理剩下来的元素 a,*b,rest = range(10) print(a,b,rest) #嵌套元组拆包 metro_areas = [('Tokyo','JP',36.33,(35.998877,139.887665)), ('De NCR','IN',21.334,(28.61555,77.20999)), ('Mexico city','MX',20.14,(19.2345,-99.8765)), ('Sao Paulo','BR',19.887,(-23.8887,-46.65533))] print('{:15}|{:^9}|{:^9}'.format('City','lat.','long.')) fmt = '{:15}|{:9.4f}|{:9.4f}' for name,cc,pop, (latitude,longitude) in metro_areas: if longitude <= 0: print(fmt.format(name,latitude,longitude)) #具名元组 from collections import namedtuple City = namedtuple('City','name country population coordinates') tokyo = City('Tokyo','JP',36,(35,139)) print(tokyo) print(City._fields) a = (2,3,4,45,6,9) print(a[::3]) t = (1,2,[3,4]) t[2] += [5,6] print(t)
4、切片
切片
l[::-2]
l[:5] = []
5、对序列使用+和*
>>> [[0] * 3] * 3 [[0, 0, 0], [0, 0, 0], [0, 0, 0]] >>> [[0] * 3 for i in range(3)] [[0, 0, 0], [0, 0, 0], [0, 0, 0]]
第一种，外面的列表包含了3个指向同一个列表的引用，修改一个，其他位置也会修改
6、序列的增量赋值
序列的增量赋值
_iadd ：就地加法（+=） _add
m = l*5
m += [1,2]
7、list.sort方法和内置函数sorted
list.sort方法会就地排序列表，也就是说不会把原列表复制一份。
两个关键词参数：reverse，key
8、已排序搜索和插入bisect
#比较有趣的用法 def grade(score,breakpoints = [60,70,80,90],grades = 'FDCBA'): i = bisect.bisect_right(breakpoints,score) return grades[i] print([grade(score) for score in [33,60,62,69,80,100]]) #已排序队列的插入 bisect.insort_left([],10)
9、当列表不是首选时
数组(array.array)
from array import array from random import random floats = array('d',(random()*100 for i in range(10**7))) print(floats[-1]) #注意哦，数组里面存的是数字的字节表达 fp = open('floats.bin','wb') floats.tofile(fp) fp.close()
内存视图memoryview
泛化和去数学化的NumPy数组，实现在数据结构之间共享内存。用以处理大型数据集合
注意共享内存的意思是对memoryview的操作不会产生新的对象！！！这也是其高效的原因
NumPy 与 SciPy
from time import perf_counter as pc t0 = pc() floats = numpy.loadtxt('data.txt') t1 = pc() floats /= 3 t2 = pc() numpy.save('floats-10M',floats) t3 = pc() floats2 = numpy.load('floats-10M.npy','r+') t4 = pc() floats2 *=363 t5 = pc() {'t0': 0.851668039, 't1': 153.021685987, 't2': 153.038698158, 't3': 153.4188989, 't4': 153.420616467, 't5': 153.455011833}
读取txt和二进制文件简直天壤之别，当然这有NumPy优化内存映射机制
还有 deque heapq ....
from collections import deque dq = deque(range(10),maxlen = 10) dq.rotate(-4) print(dq) dq.pop() print(dq) dq.extend([11,12,13]) print(dq)
queue
import queue
#用以同步线程安全，满员时会等待销毁后再执行
multiprocessing
import multiprocessing
#用以同步进程管理，同queue
asyncio
import asyncio
#是用来编写 并发 代码的库，使用 async/await 语法
heapq
import heapq
#将可变序列当做堆队列处理
