认识python中的协程

一、什么是协程

　　协程，又称微线程，纤程。英文名Coroutine。可以认为是比线程更小的执行单元，因为他自带CPU上下文。这样只要在合适的时机， 我们可以把一个协程切换到另一个协程。 只要这个过程中保存或恢复CPU上下文那么程序还是可以运行的。

　　目前的协程框架一般都是设计成 1:N 模式，即一个线程作为一个容器里面放置多个协程。协程的切换，是由协程自身去主动让出cpu。当一个协程发现自己执行不下去了(比如异步等待网络的数据回来，但是当前还没有数据到)， 这个时候就可以由这个协程通知调度器去执行到调度器代码，调度器根据事先设计好的调度算法找到当前最需要CPU的协程。 切换这个协程的CPU上下文，把CPU的运行权交个这个协程。

 

二、协程和线程的差异

　　协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。

　　线程切换从系统层面远不止保存或恢复CPU上下文这么简单。 操作系统为了程序运行的高效性，每个线程都有自己缓存Cache等数据，操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。

 

三、协程的利弊

• 利

  • 在IO密集型的程序中，由于IO操作远远慢于CPU的操作，所以往往需要CPU去等IO操作。把一个IO操作写成一个协程，当触发IO操作的时候就自动让出CPU给其他协程。协程通过这种对异步IO的封装，既保留了性能也保证了代码的容易编写和可读性。

• 弊

  • 线程中有一个协程是CPU密集型的， 它自己不会主动触发调度器调度的过程，那么就会出现其他协程得不到执行的情况， 所以这种情况需要避免。

 

四、协程的实现

　　1.一个简单的实现：

import time

def A():
    while True:
        print("----A---")
        yield
        time.sleep(0.5)

def B(c):
    while True:
        print("----B---")
        c.next()
        time.sleep(0.5)

if __name__=='__main__':
    a = A()
    B(a)

　　2.greenlet模块

　　为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单，但是还需要人工切换。

　　首先需要安装greenlet模块：

sudo pip3 install greenlet

　　示例：

#coding=utf-8
import time
from greenlet import greenlet

def testA():
    while True:
        print("A")
        time.sleep(0.5)
        g_B.switch() #切换到g_B中去运行，等再次切换到g_A中运行时，会从当前位置继续执行

def testB():
    while True:
        print('B')
        time.sleep(0.5)
        g_A.switch() 

g_A = greenlet(testA)
g_B = greenlet(testB)

g_A.switch() #切换到g_A中运行

　　3.gevent模块

　　python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent，其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

　　安装:

sudo pip3 install gevent

　　使用：

#coding=utf-8
import gevent

def test(n):
    for i in range(n):
        print("%s---%d"%(gevent.getcurrent(),i))

g1 = gevent.spawn(test,3) #创建greenlet对象，并执行start()方法开启协程
g2 = gevent.spawn(test,5)
g1.join() #运行
g2.join()

　　运行结果:

<Greenlet at 0x7f394802cae0: test(3)>---0
<Greenlet at 0x7f394802cae0: test(3)>---1
<Greenlet at 0x7f394802cae0: test(3)>---2
<Greenlet at 0x7f39465789d0: test(5)>---0
<Greenlet at 0x7f39465789d0: test(5)>---1
<Greenlet at 0x7f39465789d0: test(5)>---2
<Greenlet at 0x7f39465789d0: test(5)>---3
<Greenlet at 0x7f39465789d0: test(5)>---4

　　可以看到两个greenlet对象是依次执行的，而并没有切换执行

　　切换运行：

　　　　添加一个耗时操作，就会切换执行了，我们使用gevent.sleep()方法来模拟耗时操作，而不是使用time.sleep()，示例如下：

#coding=utf-8
import gevent

def test(n):
    for i in range(n):
        print("%s---%d"%(gevent.getcurrent(),i))
        gevent.sleep(0.5) #模拟耗时操作，注意不是time.sleep（）

g1 = gevent.spawn(test,3) #创建greenlet对象
g2 = gevent.spawn(test,5)
g1.join() #运行
g2.join()

　　运行结果：

<Greenlet at 0x7fe86bb4bae0: test(3)>---0
<Greenlet at 0x7fe86a0989d0: test(5)>---0
<Greenlet at 0x7fe86bb4bae0: test(3)>---1
<Greenlet at 0x7fe86a0989d0: test(5)>---1
<Greenlet at 0x7fe86bb4bae0: test(3)>---2
<Greenlet at 0x7fe86a0989d0: test(5)>---2
<Greenlet at 0x7fe86a0989d0: test(5)>---3
<Greenlet at 0x7fe86a0989d0: test(5)>---4

　　gevent并发下载器：

　　　　实际代码里，我们不会用gevent.sleep()去切换协程，而是在执行到IO操作时，gevent自动切换，需要先调用猴子补丁monkey.patch_all()，代码如下：

#coding=utf-8
import gevent
from gevent.monkey import patch_all
from urllib.request import Request,urlopen

#有IO才做时需要这一句
patch_all()

def downloader(url):
    print("下载地址:{}".format(url))
    request = Request(url,headers=headers)
    resp = urlopen(request)
    print('{}返回:{}字节'.format(url,len(resp.read())))

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}

gevent.joinall([
    gevent.spawn(downloader,"https://www.tencent.com/"),
    gevent.spawn(downloader,"https://www.baidu.com"),
    gevent.spawn(downloader,"https://www.hao123.com")
])

　　运行结果：

下载地址:https://www.tencent.com/
下载地址:https://www.baidu.com
下载地址:https://www.hao123.com
https://www.baidu.com返回:299636字节
https://www.hao123.com返回:347474字节
https://www.tencent.com/返回:32744字节

　　优先访问的tencent.com，但是返回数据时却最后，收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据