并发编程-协程

一.协程认识

协程：单线程下的并发，又称为微线程，纤程。一句话说明什么是协程:协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

　　协程是基于单线程实现并发，即只用一个主线程(cpu只用一个)，为实现并发，先认识并发本质(切换+保存状态)

　　cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制），一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长或有一个优先级更高的程序替代了它

　　协程本质上就是一个线程，以前线程任务的切换是由操作系统控制的，遇到I/O自动切换，现在我们用协程的目的就是较少操作系统切换的开销

知识点:

1.协程是基于单线程来实现并发
2.协程的三种状态(和进程相同):
    运行、阻塞、就绪
3.python的线程属于内核级别，即由操作系统控制调度(如单线程遇到IO或执行时间过长就会交出cpu执行权限
，切换其他线程运行)

yield本身就是一种在单线程下可以保存任务运行状态的方法:

import time
def fun1():
    for i in range(10):
        print(f"第{i}次")
        time.sleep(1)
        yield
def fun2():
    g = fun1()
    for k in range(10):
        next(g)             #第一次next，执行到yield结束，再次yield，继续yield下面的代码
fun1()
fun2()

#打印结果：
第0次
第1次
第2次
第3次
第4次
第5次
第6次
第7次
第8次
第9次

# 计算密集型：串行与协程的效率对比
import time
def task1():
    res = 1
    for i in range(1,100000):
        res += i


def task2():
    res = 1
    for i in range(1,100000):
        res -= i

start_time = time.time()
task1()
task2()
print(time.time()-start_time)


import time


def task1():
    res = 1
    for i in range(1, 100000):
        res += i
        yield res


def task2():
    g = task1()
    res = 1
    for i in range(1, 100000):
        res -= i
        next(g)


start_time = time.time()
task2()
print(time.time() - start_time)


#打印结果(可以看到：串行比协程更效率)
0.009972810745239258
0.018949270248413086

但是yield不能检测IO

import time
def fun1():
    while True:
        print("func1")
        yield
def fun2():
    g = fun1()
    for i in range(100000):
        next(g)
        time.sleep(3)
        print("func2")
start_time = time.time()
fun2()
print(time.time() - start_time)

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点:
    1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级
    2. 单线程内就可以实现并发的效果，最大限度地利用cpu
缺点：
    1. 协程的本质是单线程下，无法利用多核。
    2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程
特点：
    1.必须在只有一个单线程里实现并发
    2.修改共享数据不需加锁
    3.用户程序里自己保存多个控制流的上下文栈
    4.一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制）　　

二.greenlet

要想在多个任务之间进行切换，使用greenlet可以及其简单地实现。但是，greenlet只是提供了一种比yield更简单的切换方式，当切到一个任务时遇到IO，还是原地阻塞。

from greenlet import greenlet

def eat(name):
    print(f"{name}  eat 1")   # 2
    g2.switch('alex')         # 3
    print(f"{name} eat 2")    # 6
    g2.switch("alex2")        # 7
def play(name):
    print(f"{name} play 1")   # 4
    g1.switch()               # 5
    print(f"{name} play 2")   # 8
g1 = greenlet(eat)
g2 = greenlet(play)

g1.switch('taibai')             # 1

 

上图是协程真正的意义：即一旦遇到IO操作，就切换到其他地方执行，怎么搞？为了提高效率，就用到了Geven模块

三.Gevent模块

可轻松通过gevent实现并发同步或异步编程，在gevent中用到的模式主要是Greenlet

g1 = gevent.spawn(func,1,3,x=1) 创建一个协程对象，func为函数名(要执行的任务)，后面是参数，spawn是异步提交任务


g1.join()
g2.join()
gevent.joinall([g1,g2])  是上面2步的合体


g1.value  #得到func的返回值  

遇到gevent可以识别的IO阻塞就切换

import gevent
def eat(name):
    print('%s eat 1' %name)
    gevent.sleep(2)
    print('%s eat 2' %name)

def play(name):
    print('%s play 1' %name)
    gevent.sleep(1)
    print('%s play 2' %name)

g1 = gevent.spawn(eat,"alex")          #创建协程对象，同时提交任务
g2 = gevent.spawn(play,"egon")
gevent.joinall([g1,g2])        #没有此代码，程序一开始就完了，因为会自动切到"主协程"，主协程一完，就相当于主线程完了。。。



#执行结果：
alex eat 1
egon play 1
egon play 2
alex eat 2

遇到IO就切

而如果遇到time.sleep(3)或者其他阻塞，gevent不能识别，就需要用到gevent下面的monkey模块(放在所整个py文件的最上方)，此模块识别所有IO，等同于套接字.setblocking(False)

from gevent import monkey;monkey.patch_all()
import gevent,time
def eat():
    print("eat food 1")
    time.sleep(2)
    print("eat food 2")

def play():
    print("play 1")
    time.sleep(1)
    print("play 2")


g1 = gevent.spawn(eat)
g2 = gevent.spawn(play)
gevent.joinall([g1,g2])
print("__主__")



#结果:
eat food 1
play 1
play 2
eat food 2
__主__