Python的协程
什么是协程
协程又叫做微线程,它是在单一线程内通过不断切换执行的。协程的切换不是上下文的切换也就是说不是CPU的执行任务的切换,比如CPU执行一会线程1,然后再执行一会线程2,在多核CPU上,Python由于有GIL,所以它的切换是核心1上的线程1执行一会,然后核心2上的线程2执行一会。协程是单线程的也就是线程这种东西是在单一线程内部,协程的切换也是在线程内部切换的,它切换的是执行流,所以本质上线程内的所有协程执行是顺序的那也就是意味着某个协程阻塞会阻塞整个线程,这也就是为什么说协程切换没有开销同时不需要锁的原因,同时也就是说明了协程本身无法利用多核资源,因为它依附于线程而线程本身它自己也只能跑在一个核心上,那么要想并发就只能多进程加协程。
还记的之前的例子么
#!/usr/bin/env python # -*- coding: utf-8 -*- def consumer(name, pices): print("--->[%s]等待骨头,请喂我 %d 块。" % (name, pices)) eaten = 0 while True: # 第一次调用这个函数将返回一个生成器而不是真正执行这里面的方法,只有调这个生成器的next方法才会执行。 # yield 可以返回数据,我这里没有返回。程序走到这里遇到yield就返回了,这里为什么赋值给一个变量呢,因为可以接收数据。 # 返回后程序就停在这里了。只有当唤醒send之后才会执行下面的打印语句。 bone = yield if eaten == pices: print("[%s] 我已经吃饱了。" % name) else: print("[%s] 吃了 %s 块骨头。" % (name, bone)) eaten += 1 print("[%s] 我已经吃了 %d 块骨头。" % (name, eaten)) # time.sleep(1) def producer(): # 通过对生成器调用 next()的时候才会执行 next(petDog1) next(petDog2) n = 0 while n < 10: n += 1 print("\033[32;1m[主人]\033[0m 丢 %s 块骨头。" % 1) # send是唤醒生成器,也就是让函数继续执行,这里输入一个参数,表示激活这个生成器的时候给它传递一个变量进去,本例就是上面的 bone 这个变量,丢一块骨头 petDog1.send(1) petDog2.send(1) if __name__ == '__main__': # 函数里面有 yield 第一次调用这个函数它返回的是一个生成器,所以第一次不执行 petDog1 = consumer("金毛", 10) petDog2 = consumer("泰迪", 3) master = producer()
这个使用了yeild的例子就是协程的概念。通过yeild定义生成器,通过next和send不断在两个狗之间切换。这里呢其实是手动切换在实际当中应该是自动切换,因为每个狗吃骨头的时间不同,大狗吃的快小狗吃的慢。
gevent
这是一个第三方库,实现了单一线程内的多个执行流协作调度。
#!/usr/bin/env python # -*- coding: utf-8 -*- # Author: rex.cheny # E-mail: rex.cheny@outlook.com def task1(): print('\033[31;1m task1 \033[0m running...') gevent.sleep(2) # 模仿IO操作的时间 print('\033[31;1m task1 \033[0m continue running...') def task2(): print('\033[32;1m task2 \033[0m running...') gevent.sleep(1) # 模仿IO操作的时间 print('\033[32;1m task2 \033[0m continue running...') gevent.joinall([ gevent.spawn(task1), gevent.spawn(task2), ])
这个过程它实现了在两个任务之间进行切换而且是自动的并没有手动控制。
spawn实现了事件注册,而join实现了事件的轮询。通过gevent加上socket可以实现并发异步socket。