洗礼灵魂，修炼python（90）-- 知识拾遗篇 —— 协程

协程

1.定义

协程，顾名思义，程序协商着运行，并非像线程那样争抢着运行。协程又叫微线程，一种用户态轻量级线程。协程就是一个单线程（一个脚本运行的都是单线程）

 协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。

协程能保留上一次调用时的状态（即所有局部状态的一个特定组合），每次过程重入时，就相当于进入上一次调用的状态，换种说法：进入上一次离开时所处逻辑流的位置，看到这

 

 

 

是的，就是生成器，后面再实例更会充分的利用到生成器，但注意：生成器 ！= 协程

 

 

2.特性

优点：

• 无需线程上下文切换的开销
• 无需原子操作锁定及同步的开销
• 方便切换控制流，简化编程模型
• 高并发+高扩展性+低成本：一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

注：比如修改一个数据的整个操作过程下来只有两个结果，要嘛已修改，要嘛未修改，中途出现任何错误都会回滚到操作前的状态，这种操作模式就叫原子操作，"原子操作(atomic operation)是不需要synchronized"，不会被线程调度机制打断的操作；这种操作一旦开始，就一直运行到结束，中间不会有任何 context switch （切换到另一个线程）。原子操作可以是一个步骤，也可以是多个操作步骤，但是其顺序是不可以被打乱，或者切割掉只执行部分。视作整体是原子性的核心。 

 

缺点：

• 无法利用多核资源：协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要，除非是cpu密集型应用。
• 进行阻塞（Blocking）操作（如IO时）会阻塞掉整个程序

 

3.实例

 1）用生成器实现伪协程：

在这之前，相信很多朋友已经把生成器是什么忘了吧，这里简单复习一下。

创建生成器有两个放法：

A：使用列表生成器：

 

B：使用yield创建生成器：

 

访问生成器数据，使用next()或者__next__()方法:

 

好的，既然说到这里，就说下，yield可以暂存数据并转发：

 

传是传入了，但结果却报错：

 

为什么报错呢？首先要说一个知识点，使用next()和send()方法都会取出一个数据，不同的是send即发送数据又取出上一数据，并且如果要发送数据必须是第二次发送，如果第一次就是用send，必须写为send(None)才行，不然报错。next(obj) = obj.send(None).

因为yield是暂存数据，每次next()时将会在结束时的此处阻塞住，下一次又从这里开始，而发送完，send取数据发现已经结束了，数据已经没了，所以修改报错，

那么稍作修改得：

 

完美!

 

好的，进入正题了，有了上面的现钞，现在现卖应该没问题了：

依然是前面的生产者消费者模型 

import time
import queue

def consumer(name):
    print("--->starting eating baozi...")
    while True:
        new_baozi = yield
        print("[%s] is eating baozi %s" % (name,new_baozi))
        #time.sleep(1)
 
def producer():
 
    r = con.__next__()
    r = con2.__next__()
    n = 0
    while n < 5:
        n +=1
        con.send(n)
        con2.send(n)
        print("\033[32;1m[producer]\033[0m is making baozi %s" %n )
 
 
if __name__ == '__main__':
    con = consumer("c1")
    con2 = consumer("c2")
    p = producer()

　　

运行结果：

 

首先我们知道使用yield创建了一个生成器对象，然后每次使用时利用new_baozi做一个中转站来缓存数据。这就是实现协程效果了对吧？

前面我提了一句，yield下是伪协程，那么什么是真正的协程呢？

需要具备以下条件：

• 必须在只有一个单线程里实现并发
• 修改共享数据不需加锁
• 一个协程遇到IO操作自动切换到其它协程
• 用户程序里自己保存多个控制流的上下文栈

 

2）gevent协程

首先其实python提供了一个标准库Greenlet就是用来搞协程的

#!usr/bin/env python
#-*- coding:utf-8 -*-

# author:yangva

from greenlet import greenlet

def test1():
    print(1)
    gr2.switch() #switch方法作为协程切换
    print(2)
    gr2.switch()

def test2():
    print(3)
    gr1.switch()
    print(4)

gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()

　　

运行结果：

 

但是效果不好，无法满足IO阻塞，所以一般情况都用第三方库gevent来实现协程：

#!usr/bin/env python
#-*- coding:utf-8 -*-

# author:yangva

import gevent,time

def test1():
    print(1,time.ctime())
    gevent.sleep(1)     #模拟IO阻塞，注意此时的sleep不能和time模块下的sleep相提并论
    print(2,time.ctime())

def test2():
    print(3,time.ctime())
    gevent.sleep(1)
    print(4,time.ctime())

gevent.joinall([
    gevent.spawn(test1), #激活协程对象
    gevent.spawn(test2)
])

　　

运行结果：

 

那么如果函数带有参数怎么搞呢？

#!usr/bin/env python
#-*- coding:utf-8 -*-

# author:yangva

import gevent


def test(name,age):
    print('name:',name)
    gevent.sleep(1)     #模拟IO阻塞
    print('age:',age)


gevent.joinall([
    gevent.spawn(test,'yang',21), #激活协程对象
    gevent.spawn(test,'ling',22)
])

　　

运行结果：

 

 如果你对这个协程的速度觉得不理想，可以添加下面这一段，其他不变：

 

 这个patch_all()相当于一个检测机制，发现IO阻塞就立即切换，不需等待什么。这样可以节省一些时间

 

 好的，协程解析完毕。