Coroutine 协程
协程,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程。
协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,再切回来的时候,恢复先前保存的寄存器上下文和栈。因此:
协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。
pip3 install greenlet
pip3 install gevent
进程,操作系统中存在;
线程,操作系统中存在;
协程,是由程序员创造出来的一个不是真实存在的东西;
协程:是微线程,对一个线程进行分片,使得线程在代码块之间进行来回切换执行,而不是在原来逐行执行。
注意:单纯的协程无用
协程 + 遇到IO就切换 => 牛逼起来了 pip3 install gevent
1.协程可以提高并发吗?
协程自己本身无法实现并发(甚至性能会降低)。
协程+IO切换性能提高。
2.单线程提供并发:
协程+IO切换:gevent
基于事件循环的异步非阻塞框架:Twisted
协程的好处:
- 无需线程上下文切换的开销
- 无需原子操作锁定及同步的开销
- "原子操作(atomic operation)是不需要synchronized",所谓原子操作是指不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。
- 方便切换控制流,简化编程模型
- 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。
缺点:
- 无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
- 进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序
- 必须在只有一个单线程里实现并发
- 修改共享数据不需加锁
- 用户程序里自己保存多个控制流的上下文栈
- 一个协程遇到IO操作自动切换到其它协程
手动实现协程:yield关键字生成器
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 def f1(): 2 print(11) 3 yield 4 print(22) 5 yield 6 print(33) 7 8 def f2(): 9 print(55) 10 yield 11 print(66) 12 yield 13 print(77) 14 15 v1 = f1() 16 v2 = f2() 17 18 next(v1) # v1.send(None) 19 next(v2) # v1.send(None) 20 next(v1) # v1.send(None) 21 next(v2) # v1.send(None) 22 next(v1) # v1.send(None) 23 next(v2) # v1.send(None) 24 25 其他: 26 def f1(): 27 print(11) 28 x1 = yield 1 29 print(x1,22) 30 x2 = yield 2 31 print(33) 32 33 def f2(): 34 print(55) 35 yield 36 print(66) 37 yield 38 print(77) 39 40 v1 = f1() 41 v2 = f2() 42 43 ret = v1.send(None) 44 print(ret) 45 r2 = v1.send(999) 46 print(r2)
Greenlet
greenlet是一个用C实现的协程模块,相比于python自带的yield,它可以使你在任意函数之间随意切换,而不需把这个函数先声明为generator
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
# -*- coding:utf-8 -*- from greenlet import greenlet def test1(): print ( 12 ) gr2.switch() print ( 34 ) gr2.switch() def test2(): print ( 56 ) gr1.switch() print ( 78 ) gr1 = greenlet(test1) gr2 = greenlet(test2) gr1.switch() |
输出:12
56
34
78
感觉确实用着比generator还简单了呢,但好像还没有解决一个问题,就是遇到IO操作,自动切换,对不对?
Gevent
Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
import gevent def func1(): print ( '\033[31;1m李闯在跟海涛搞...\033[0m' ) gevent.sleep( 2 ) print ( '\033[31;1m李闯又回去跟继续跟海涛搞...\033[0m' ) def func2(): print ( '\033[32;1m李闯切换到了跟海龙搞...\033[0m' ) gevent.sleep( 1 ) print ( '\033[32;1m李闯搞完了海涛,回来继续跟海龙搞...\033[0m' ) gevent.joinall([ gevent.spawn(func1), gevent.spawn(func2), #gevent.spawn(func3), ]) |
输出:
李闯在跟海涛搞...
李闯切换到了跟海龙搞...
李闯搞完了海涛,回来继续跟海龙搞...
李闯又回去跟继续跟海涛搞...
同步与异步的性能区别
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
import gevent def task(pid): """ Some non-deterministic task """ gevent.sleep( 0.5 ) print ( 'Task %s done' % pid) def synchronous(): for i in range ( 1 , 10 ): task(i) def asynchronous(): threads = [gevent.spawn(task, i) for i in range ( 10 )] gevent.joinall(threads) print ( 'Synchronous:' ) synchronous() print ( 'Asynchronous:' ) asynchronous() |
上面程序的重要部分是将task函数封装到Greenlet内部线程的gevent.spawn
。 初始化的greenlet列表存放在数组threads
中,此数组被传给gevent.joinall
函数,后者阻塞当前流程,并执行所有给定的greenlet。执行流程只会在 所有greenlet执行完后才会继续向下走。
遇到IO阻塞时会自动切换任务
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
from gevent import monkey monkey.patch_all() # 以后代码中遇到IO都会自动执行greenlet的switch进行切换 import gevent from urllib.request import urlopen def f(url): print ( 'GET: %s' % url) resp = urlopen(url) data = resp.read() print ( '%d bytes received from %s.' % ( len (data), url)) gevent.joinall([ gevent.spawn(f, 'https://www.python.org/' ), gevent.spawn(f, 'https://www.yahoo.com/' ), gevent.spawn(f, 'https://github.com/' ), ]) |
1 from gevent import monkey 2 monkey.patch_all() # 以后代码中遇到IO都会自动执行greenlet的switch进行切换 3 import requests 4 import gevent 5 6 def get_page1(url): 7 ret = requests.get(url) 8 print(url,ret.content) 9 10 def get_page2(url): 11 ret = requests.get(url) 12 print(url,ret.content) 13 14 def get_page3(url): 15 ret = requests.get(url) 16 print(url,ret.content) 17 18 gevent.joinall([ 19 gevent.spawn(get_page1, 'https://www.python.org/'), # 协程1 20 gevent.spawn(get_page2, 'https://www.yahoo.com/'), # 协程2 21 gevent.spawn(get_page3, 'https://github.com/'), # 协程3 22 ])
通过gevent实现单线程下的多socket并发
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 import sys 2 import socket 3 import time 4 import gevent 5 6 from gevent import socket,monkey 7 monkey.patch_all() 8 9 def server(port): 10 s = socket.socket() 11 s.bind(('0.0.0.0', port)) 12 s.listen(500) 13 while True: 14 cli, addr = s.accept() 15 gevent.spawn(handle_request, cli) 16 17 def handle_request(conn): 18 try: 19 while True: 20 data = conn.recv(1024) 21 print("recv:", data) 22 conn.send(data) 23 if not data: 24 conn.shutdown(socket.SHUT_WR) 25 26 except Exception as ex: 27 print(ex) 28 finally: 29 conn.close() 30 if __name__ == '__main__': 31 server(8001)
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 import socket 2 3 HOST = 'localhost' # The remote host 4 PORT = 8001 # The same port as used by the server 5 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 6 s.connect((HOST, PORT)) 7 while True: 8 msg = bytes(input(">>:"),encoding="utf8") 9 s.sendall(msg) 10 data = s.recv(1024) 11 #print(data) 12 13 print('Received', repr(data)) 14 s.close()
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 import socket 2 import threading 3 4 def sock_conn(): 5 6 client = socket.socket() 7 8 client.connect(("localhost",8001)) 9 count = 0 10 while True: 11 #msg = input(">>:").strip() 12 #if len(msg) == 0:continue 13 client.send( ("hello %s" %count).encode("utf-8")) 14 15 data = client.recv(1024) 16 17 print("[%s]recv from server:" % threading.get_ident(),data.decode()) #结果 18 count +=1 19 client.close() 20 21 for i in range(100): 22 t = threading.Thread(target=sock_conn) 23 t.start()