洗礼灵魂,修炼python(90)-- 知识拾遗篇 —— 协程

协程

1.定义

协程,顾名思义,程序协商着运行,并非像线程那样争抢着运行。协程又叫微线程,一种用户态轻量级线程。协程就是一个单线程(一个脚本运行的都是单线程)

 协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。

协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置,看到这

 

 

 

是的,就是生成器,后面再实例更会充分的利用到生成器,但注意:生成器 != 协程

 

 

2.特性

优点:

  • 无需线程上下文切换的开销
  • 无需原子操作锁定及同步的开销
  • 方便切换控制流,简化编程模型
  • 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

注:比如修改一个数据的整个操作过程下来只有两个结果,要嘛已修改,要嘛未修改,中途出现任何错误都会回滚到操作前的状态,这种操作模式就叫原子操作,"原子操作(atomic operation)是不需要synchronized",不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。 

 

缺点:

  • 无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
  • 进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

 

3.实例

 1)用生成器实现伪协程:

在这之前,相信很多朋友已经把生成器是什么忘了吧,这里简单复习一下。

创建生成器有两个放法:

A:使用列表生成器:

 

B:使用yield创建生成器:

 

访问生成器数据,使用next()或者__next__()方法:

 

好的,既然说到这里,就说下,yield可以暂存数据并转发:

 

传是传入了,但结果却报错:

 

为什么报错呢?首先要说一个知识点,使用next()和send()方法都会取出一个数据,不同的是send即发送数据又取出上一数据,并且如果要发送数据必须是第二次发送,如果第一次就是用send,必须写为send(None)才行,不然报错。next(obj) = obj.send(None).

因为yield是暂存数据,每次next()时将会在结束时的此处阻塞住,下一次又从这里开始,而发送完,send取数据发现已经结束了,数据已经没了,所以修改报错,

那么稍作修改得:

 

完美!

 

好的,进入正题了,有了上面的现钞,现在现卖应该没问题了:

依然是前面的生产者消费者模型 

import time
import queue

def consumer(name):
    print("--->starting eating baozi...")
    while True:
        new_baozi = yield
        print("[%s] is eating baozi %s" % (name,new_baozi))
        #time.sleep(1)
 
def producer():
 
    r = con.__next__()
    r = con2.__next__()
    n = 0
    while n < 5:
        n +=1
        con.send(n)
        con2.send(n)
        print("\033[32;1m[producer]\033[0m is making baozi %s" %n )
 
 
if __name__ == '__main__':
    con = consumer("c1")
    con2 = consumer("c2")
    p = producer()

  

运行结果:

 

首先我们知道使用yield创建了一个生成器对象,然后每次使用时利用new_baozi做一个中转站来缓存数据。这就是实现协程效果了对吧?

前面我提了一句,yield下是伪协程,那么什么是真正的协程呢?

需要具备以下条件

  • 必须在只有一个单线程里实现并发
  • 修改共享数据不需加锁
  • 一个协程遇到IO操作自动切换到其它协程
  • 用户程序里自己保存多个控制流的上下文栈

 

2)gevent协程

首先其实python提供了一个标准库Greenlet就是用来搞协程的

#!usr/bin/env python
#-*- coding:utf-8 -*-

# author:yangva

from greenlet import greenlet

def test1():
    print(1)
    gr2.switch() #switch方法作为协程切换
    print(2)
    gr2.switch()

def test2():
    print(3)
    gr1.switch()
    print(4)

gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()

  

运行结果:

 

但是效果不好,无法满足IO阻塞,所以一般情况都用第三方库gevent来实现协程:

#!usr/bin/env python
#-*- coding:utf-8 -*-

# author:yangva

import gevent,time

def test1():
    print(1,time.ctime())
    gevent.sleep(1)     #模拟IO阻塞,注意此时的sleep不能和time模块下的sleep相提并论
    print(2,time.ctime())

def test2():
    print(3,time.ctime())
    gevent.sleep(1)
    print(4,time.ctime())

gevent.joinall([
    gevent.spawn(test1), #激活协程对象
    gevent.spawn(test2)
])

  

运行结果:

 

那么如果函数带有参数怎么搞呢?

#!usr/bin/env python
#-*- coding:utf-8 -*-

# author:yangva

import gevent


def test(name,age):
    print('name:',name)
    gevent.sleep(1)     #模拟IO阻塞
    print('age:',age)


gevent.joinall([
    gevent.spawn(test,'yang',21), #激活协程对象
    gevent.spawn(test,'ling',22)
])

  

运行结果:

 

 如果你对这个协程的速度觉得不理想,可以添加下面这一段,其他不变:

 

 这个patch_all()相当于一个检测机制,发现IO阻塞就立即切换,不需等待什么。这样可以节省一些时间

 

 好的,协程解析完毕。

 

posted @ 2018-02-21 22:09  Eeyhan  阅读(221)  评论(0编辑  收藏  举报