多任务：协程

协程

协程，又称微线程，纤程。英文名Coroutine。

协程是啥

协程是python个中另外一种实现多任务的方式，只不过比线程更小占用更小执行单元（理解为需要的资源）。为啥说它是一个执行单元，因为它自带CPU上下文。这样只要在合适的时机，我们可以把一个协程切换到另一个协程。只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。

通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定

协程和线程差异

在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮你做这些数据的恢复操作。所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。

简单实现协程

 1 import time
 2 
 3 def work1():
 4     while True:
 5         print("----work1---")
 6         yield
 7         time.sleep(0.5)
 8 
 9 def work2():
10     while True:
11         print("----work2---")
12         yield
13         time.sleep(0.5)
14 
15 def main():
16     w1 = work1()
17     w2 = work2()
18     while True:
19         next(w1)
20         next(w2)
21 
22 if __name__ == "__main__":
23     main()

运行结果：

----work1---
----work2---
----work1---
----work2---
----work1---
----work2---
----work1---
----work2---
----work1---
----work2---
----work1---
----work2---
...省略...

greenlet

为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单

安装方式

使用如下命令安装greenlet模块:

 1 #coding=utf-8
 2 from greenlet import greenlet
 3 import time
 4 
 5 def test1():
 6     while True:
 7         print("---A--")
 8         gr2.switch()
 9         time.sleep(0.5)
10 
11 def test2():
12     while True:
13         print("---B--")
14         gr1.switch()
15         time.sleep(0.5)
16 
17 gr1 = greenlet(test1)
18 gr2 = greenlet(test2)
19 
20 #切换到gr1中运行
21 gr1.switch()

运行效果

---A--
---B--
---A--
---B--
---A--
---B--
---A--
---B--
...省略...

gevent

greenlet已经实现了协程，但是这个还的人工切换，是不是觉得太麻烦了，不要捉急，python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent

其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO

安装

pip3 install gevent

 1 import gevent
 2 import time
 3 
 4 def f1(n):
 5     for i in range(n):
 6         print(gevent.getcurrent(),i)
 7         # time.sleep(0.5)
 8         gevent.sleep(0.5)
 9         
10 def f2(n):
11     for i in range(n):
12         print(gevent.getcurrent(),i)
13         # time.sleep(0.5)
14         gevent.sleep(0.5)
15 
16 def f3(n):
17     for i in range(n):
18         print(gevent.getcurrent(),i)
19         # time.sleep(0.5)
20         gevent.sleep(0.5)
21         
22 print('------1-----')
23 g1 = gevent.spawn(f1,5)
24 print('------2-----')
25 g2 = gevent.spawn(f1,5)
26 print('------3-----')
27 g3 = gevent.spawn(f1,5)
28 g1.join()
29 g2.join()
30 g3.join()

执行结果：

------1-----
------2-----
------3-----
<Greenlet "Greenlet-0" at 0x150ff6567b8: f1(5)> 0
<Greenlet "Greenlet-1" at 0x150ff656ae8: f1(5)> 0
<Greenlet "Greenlet-2" at 0x150ff6568c8: f1(5)> 0
<Greenlet "Greenlet-0" at 0x150ff6567b8: f1(5)> 1
<Greenlet "Greenlet-1" at 0x150ff656ae8: f1(5)> 1
<Greenlet "Greenlet-2" at 0x150ff6568c8: f1(5)> 1
<Greenlet "Greenlet-0" at 0x150ff6567b8: f1(5)> 2
<Greenlet "Greenlet-1" at 0x150ff656ae8: f1(5)> 2
<Greenlet "Greenlet-2" at 0x150ff6568c8: f1(5)> 2
<Greenlet "Greenlet-0" at 0x150ff6567b8: f1(5)> 3
<Greenlet "Greenlet-1" at 0x150ff656ae8: f1(5)> 3
<Greenlet "Greenlet-2" at 0x150ff6568c8: f1(5)> 3
<Greenlet "Greenlet-0" at 0x150ff6567b8: f1(5)> 4
<Greenlet "Greenlet-1" at 0x150ff656ae8: f1(5)> 4
<Greenlet "Greenlet-2" at 0x150ff6568c8: f1(5)> 4

3. 给程序打补丁

注意，下面的代码没有用gevent.sleep(0.5)，而是用的常规的time.sleep(0.5)。可以这样写的前提是看第5行代码：monkey.patch_all()被调用的时候会自动检查代码里面的有耗时操作的代码，并且会把耗时操作的代码转换为gevent格式的耗时操作。

 1 import gevent
 2 import time
 3 from gevent import monkey
 4 
 5 monkey.patch_all()
 6 
 7 def f1(n):
 8     for i in range(n):
 9         print(gevent.getcurrent(),i)
10         time.sleep(0.5)
11         
12 def f2(n):
13     for i in range(n):
14         print(gevent.getcurrent(),i)
15         time.sleep(0.5)
16 
17 def f3(n):
18     for i in range(n):
19         print(gevent.getcurrent(),i)
20         time.sleep(0.5)
21         
22 print('------1-----')
23 g1 = gevent.spawn(f1,5)
24 print('------2-----')
25 g2 = gevent.spawn(f1,5)
26 print('------3-----')
27 g3 = gevent.spawn(f1,5)
28 g1.join()
29 g2.join()
30 g3.join()

执行结果：


用joinall替代join：

 1 from gevent import monkey
 2 import gevent
 3 import random
 4 import time
 5 
 6 # 有耗时操作时需要
 7 monkey.patch_all()  # 将程序中用到的耗时操作的代码，换为gevent中自己实现的模块
 8 
 9 def coroutine_work(coroutine_name):
10     for i in range(10):
11         print(coroutine_name, i)
12         time.sleep(random.random())
13 
14 gevent.joinall([
15         gevent.spawn(coroutine_work, "work1"),
16         gevent.spawn(coroutine_work, "work2")
17 ])

运行结果

work1 0
work2 0
work1 1
work1 2
work1 3
work2 1
work1 4
work2 2
work1 5
work2 3
work1 6
work1 7
work1 8
work2 4
work2 5
work1 9
work2 6
work2 7
work2 8
work2 9

posted @ 2020-09-15 15:38 牛公的跑奔阅读(179) 评论(0) 编辑收藏举报

刷新页面返回顶部

牛公的跑奔

罗马不是一天建成的，但一定是一天一天建成的。