python3 协程
协程,又称为'微线程'。英文名Coroutine。
协程的特点:一个线程执行
协程的优势:
1、执行效率高
因为协程切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。
2、不需要多线程的锁机制
因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。
因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。
Python对协程的支持是通过generator实现的。
在generator中,我们不但可以通过for
循环来迭代,还可以不断调用next()
函数获取由yield
语句返回的下一个值。
但是Python的yield
不但可以返回一个值,它还可以接收调用者发出的参数。
注意,在一个生成器函数未启动之前,是不能传递值进去。也就是说在使用c.send(n)
之前,必须先使用c.send(None)
或者next(c)
来返回生成器的第一个值。
def num(): a = yield 1 while True: print(a) a = yield a c = num() r = c.send(None) print( r) # 1 print(c.send(5)) #5 # 执行过程 说明: """ 首先使用 c.send(None),返回生成器的第一个值,a = yield 1 ,也就是1(但此时,并未执行赋值语句),然后生成器暂停,等待下一次启动. 接着我们使用了c.send(5),再次启动生成器,并同时传入了一个参数5,再次启动生成的时候,从上次yield语句断掉的地方开始执行,即 a 的赋值语句, 由于我们传入了一个参数5,所以a被赋值为5,接着程序进入whlie循环,当程序执行到 a = yield a, 同理,先返回生成器的值 5,下次启动生成器的时候,再执行赋值语句,以此类推... """
异步IO:asyncio
1、asyncio 是python3.4引入的标准库,直接内置了对异步IO的支持。 2、异步操作需要在coroutine中通过yield from完成; 3、多个coroutine可以封装成一组Task然后并发执行。
asyncio 的编程模式就是一个消息循环。从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到EventLoop
中执行,就实现了异步IO。
(使用@asyncio.coroutine 把一个generator标记为coroutine 类型,然后,我们就把这个coroutine
扔到EventLoop
中执行。)
1、简单的异步IO案例:
import asyncio @asyncio.coroutine def hello(): print('hello world...') r = yield from asyncio.sleep(1) print('Over...') # 通过asyncio 获取EventLoop loop = asyncio.get_event_loop() # 执行协程 loop.run_until_complete(hello()) loop.close()
2、并发任务访问
import threading import asyncio @asyncio.coroutine def hello(): print('Hello world! (%s)' % threading.currentThread()) yield from asyncio.sleep(1) print('Hello again! (%s)' % threading.currentThread()) loop = asyncio.get_event_loop() tasks = [hello(), hello()] loop.run_until_complete(asyncio.wait(tasks)) loop.close()
输出:
Hello world! (<_MainThread(MainThread, started 17456)>) Hello world! (<_MainThread(MainThread, started 17456)>) Hello again! (<_MainThread(MainThread, started 17456)>) Hello again! (<_MainThread(MainThread, started 17456)>)
从结果可以看出,两个coroutine
是由同一个线程并发执行的。
如果把asyncio.sleep()
换成真正的IO操作,则多个coroutine
就可以由一个线程并发执行。
async/await
用asyncio
提供的@asyncio.coroutine
可以把一个generator标记为coroutine类型,然后在coroutine内部用yield from
调用另一个coroutine实现异步操作。
为了简化并更好地标识异步IO,从Python 3.5开始引入了新的语法async
和await
,可以让coroutine的代码更简洁易读。
请注意,async
和await
是针对coroutine的新语法,要使用新的语法,只需要做两步简单的替换:
- 把
@asyncio.coroutine
替换为async
; - 把
yield from
替换为await
。